Μετά την διάλυση των Music Machine, ο Όσμπορν δημιούργησε ένα άλλο συγκρότημα, τους Rare Breed με τον φίλο του μπασιστα Τέρενς Μπάτλερ, γνωστό και ως Γκίζερ. Ο Τόνι Αϊόμι με τον φίλο του ντράμερ Μπιλ Γουόρντ άνηκαν στο συγκρότημα Mythology. Μέσω μιας διαφήμισης που έβαλε ο Όσμπορν σε εφημερίδα και της γνωριμίας του Μπάτλερ με τον Αϊόμι και τον Γουόρντ, οι τέσσερις νέοι από το Μπέρμιγχαμ συναντήθηκαν στο διαμέρισμα του.
Έπαιξαν για το κοινό των Mythology με το όνομα Earth. Σαν Earth άνοιγαν παραστάσεις άλλων συγκροτημάτων ώσπου μια μέρα που αποφάσισαν να κάνουν μια δική τους συναυλία και ο κόσμος εμφανίστηκε περιμένοντας να ακούσει ένα ομώνυμο χορευτικό συγκρότημα και έτσι αποφάσισαν να αλλάξουν το όνομα τους σε Black Sabbath, απο την αγαπημένη τους ταινία τρόμου όταν ο Όζι σκέφτηκε πως αφού ο κόσμος πληρώνει για να τρομάξει από μια ταινία ίσως να ήθελε να τρομάξει από ένα μουσικό συγκρότημα.
Το πρώτο τραγούδι των Black Sabbath, το τραγούδι που γέννησε το Heavy Metal και φέρει το όνομα του συγκροτήματος που το δημιούργησε, ακουγόταν από τους ενισχυτές τόσο δυνατά που έπεφτε το ρεύμα τουλάχιστον 3 φορές σε κάθε συναυλία τους. Πολλά συγκροτήματα τους αντέγραψαν με αποτέλεσμα να περαστεί στην Αγγλία ο «νόμος των 96 Decibel». Το πρώτο τους άλμπουμ κυκλοφόρησε το Παρασκευή, 13 του Φλεβάρη, 1970 και ονομάστηκε «Black Sabbath».
Ο δίσκος έφτασε στο Top-10 στα αγγλικά τσαρτ, ενώ στη λίστα βρισκόταν οι Beatles και οι The Who. Με τα πρώτα χρήματα, ο Όσμπορν επέστρεψε στο σπίτι του για να ξεπληρώσει τους γονείς του για όσα τους είχε κοστίσει η 16χρονη παραμονή του στο σπίτι τους. Τους παρουσίασε περήφανος τον δίσκο του και όταν τους τον έβαλε να τον ακούσουν ζήτησε την γνώμη τους. Η μητέρα του βρήκε δικαιολογία ότι είχε μια δουλεία στην κουζίνα ενώ ο παραξενεμένος πατέρας ρώτησε τον γιο του αν παίρνει κάτι περισσότερο από αλκοόλ.
Η πορεία του Όσμπορν με τους Black Sabbath συνεχίστηκε μέχρι τον Απρίλιο του 1979, κυκλοφορώντας οκτώ επιτυχημένους δίσκους.
Σόλο καριέρα
Στις αρχές της δεκαετίας του ’80, κυκλοφόρησε τον πρώτο του προσωπικό δίσκο «Blizzard of Ozz». Στο συγκρότημα του συμμετείχαν ο πρώην ντράμερ των Uriah Heep, Λι Κέρσλεηκ, ο πρώην μπασίστας των Rainbow, Μπομπ Ντέισλι και ο κιθαρίστας Ράντι Ρόουντς. Το άλμπουμ ανέβηκε στο βρετανικόTop-10 και έγινε τέσσερις φορές πλατινένιο. Ακολούθησε το «Diary of a Madman» το Νοέμβριο του 1981, με το Top-20 σινγκλ «Flying High Again», πριν ο Τόμι Όλντριτζ και ο Ρούντι Σάρζο αντικαταστήσουν τον Κέρσλεηκ και το Ντέισλι, αντίστοιχα.
Στις 19 Μαρτίου 1982, ο Ρόουντς έχασε τη ζωή του σε αεροπορικό δυστύχημα μαζί με τον οδηγό του λεωφορείου του συγκροτήματος και την κομμώτρια τους. Η περιοδεία για την προώθηση του «Diary of a Madman» η οποία βρισκόταν σε εξέλιξη, ακυρώθηκε.
Αρχικός αντικαταστάτης του Ρόουντς για ένα μικρό χρονικό διάστημα ήταν ο πρώην κιθαρίστας των Gillan, Μπέρνι Τορμ, για να αντικατασταθεί τελικά από τον Μπραντ Γκίλις. Το 1982, κυκλοφόρησε το ζωντανά ηχογραφημένο «Speak of the Devil», ενώ το 1983 εντάχθηκε στο συγκρότημα ο κιθαρίστας Τζέικ Λι. Με τη συμμετοχή του πρώην κιμπορντίστα των Rainbow, Ντον Έρεϊ, ηχογράφησαν το τριπλά πλατινένιο «Bark at the Moon» και περιόδευσαν σε Ευρώπη και Αμερική.
Το 1986, κυκλοφόρησε ο τέταρτος στούντιο δίσκος του, «The Ultimate Sin», ο οποίος ανέβηκε στο Top-10 σε Βρετανία και Ηνωμένες Πολιτείες. Στο δίσκο συμμετείχαν ο μπασίστας Φιλ Σούσαν και ο ντράμερ Ράντι Καστίγιο ενώ το άλμπουμ έγινε πλατινένιο τρεις μήνες μετά την αρχική του κυκλοφορία.
Την επόμενη χρονιά ο Λι αποχώρησε από το συγκρότημα για να έρθει στη θέση του ο Ζακ Γουάιλντ, ενώ κυκλοφόρησε ο ζωντανά ηχογραφημένος το 1981, δίσκος «Tribute», αφιερωμένος στη μνήμη του Ράντι Ρόουντς. Με τη νέα σύνθεση κυκλοφόρησε ο δίσκος «No Rest for the Wicked», ενώ το 1989 ο Όσμπορν ηχογράφησε το τραγούδι «Close My Eyes Forever» σε συνεργασία με τη Λίτα Φορντ, ανεβαίνοντας στο # 8 του Billboard Hot-100.Για την περιοδεία του «No Rest for the Wicked», εντάχθηκε στο συγκρότημα ο πρώην συνάδελφος του Όσμπορν στους Black Sabbath, Γκίζερ Μπάτλερ.
Το 1990, κυκλοφόρησαν το ζωντανά ηχογραφημένο ΕΡ «Just Say Ozzy» και την επόμενη χρονιά το τετραπλά πλατινένιο «No More Tears» με τον Μπομπ Ντέισλι να επιστρέφει στο συγκρότημα. Ακολούθησε το ζωντανό «Live & Loud» το καλοκαίρι του 1993, του οποίου η εκτέλεση στο «I Don’t Wat to Change the World» έδωσε στο Όσμπορν το μοναδικό του βραβείο Grammy, την επόμενη χρονιά.
Την επόμενη χρονιά ο Λι αποχώρησε από το συγκρότημα για να έρθει στη θέση του ο Ζακ Γουάιλντ, ενώ κυκλοφόρησε ο ζωντανά ηχογραφημένος το 1981, δίσκος «Tribute», αφιερωμένος στη μνήμη του Ράντι Ρόουντς. Με τη νέα σύνθεση κυκλοφόρησε ο δίσκος «No Rest for the Wicked», ενώ το 1989 ο Όσμπορν ηχογράφησε το τραγούδι «Close My Eyes Forever» σε συνεργασία με τη Λίτα Φορντ, ανεβαίνοντας στο # 8 του Billboard Hot-100.Για την περιοδεία του «No Rest for the Wicked», εντάχθηκε στο συγκρότημα ο πρώην συνάδελφος του Όσμπορν στους Black Sabbath, Γκίζερ Μπάτλερ.
Το 1990, κυκλοφόρησαν το ζωντανά ηχογραφημένο ΕΡ «Just Say Ozzy» και την επόμενη χρονιά το τετραπλά πλατινένιο «No More Tears» με τον Μπομπ Ντέισλι να επιστρέφει στο συγκρότημα. Ακολούθησε το ζωντανό «Live & Loud» το καλοκαίρι του 1993, του οποίου η εκτέλεση στο «I Don’t Wat to Change the World» έδωσε στο Όσμπορν το μοναδικό του βραβείο Grammy, την επόμενη χρονιά.
Το «Ozzmosis» του 1995, ανέβηκε στο # 4 στις Ηνωμένες Πολιτείες ωθούμενο από τα σινγκλ «I Just Want You» και «Perry Mason». Για το συγκεκριμένο δίσκο επέστρεψε στο συγκρότημα ο Μπάτλερ ενώ εντάχθηκε ο ντράμερ Ντιν Καστρονόβο.
Στις 25 Οκτωβρίου 1996, έλαβε μέρος στο Ντέβορ της Καλιφόρνια το ετήσιο φεστιβάλ του Όζι, “Ozzfest”, στο οποίο συμμετείχαν και οι επανενωμένοι Black Sabbath, το 1997. Στις 20 Οκτωβρίου 1998, κυκλοφόρησαν το διπλό, ζωντανά ηχογραφημένο άλμπουμ «Reunion», πριν ο Όσμπορν ηχογραφήσει τον πρώτο του προσωπικό δίσκο μετά την αλλαγή της χιλιετίας, το 2001, με τον τίτλο «Down to Earth».
Τον Ιούνιο του 2002, εμφανίστηκε στο Παλάτι του Μπάκιγχαμ στη γιορτή της Βασίλισσας Ελισάβετ, παίζοντας το «Paranoid» των Black Sabbath. Την επόμενη χρονιά, έγινε μέλος του σχήματος του ο πρώην μπασίστας των Metallica, Τζέισον Νιούστεντ και κυκλοφόρησε τη διασκευή του στο τραγούδι «Changes» των Black Sabbath μαζί με την κόρη του Κέλι, το οποίο ανέβηκε στην κορυφή των βρετανικών τσαρτ.
Το 2005, κυκλοφόρησε το δίσκο «Under Cover» με διασκευές στους Beatles, τους Rolling Stones, τους Cream, κ.α. Ακολούθησε το πρώτο του στούντιο άλμπουμ μετά από έξι χρόνια με τίτλο «Black Rain», το Μάιο του 2007. Τον Αύγουστο του 2009, εντάχθηκε στο συγκρότημα ο Έλληνας κιθαρίστας Κώστας Καραμητρούδης, γνωστός με το ψευδώνυμο Gus G. Η νέα σύνθεση, κυκλοφόρησε το άλμπουμ «Scream», τον Ιούνιο του 2010.
