Группу образовали четверо выходцев из Астона в Бирмингеме: Оззи Осборн, Тони Айомми, Гизер Батлер и Билл Уорд. Осборн вспоминал позже, что его любимыми исполнителями были The Beatles (особенно ему нравился альбом Revolver), а кумиром — Джон Леннон.Поначалу группа играла блюз-рок, но вскоре сосредоточилась на более «тёмной» музыке и оккультной тематике. Эта идея впервые пришла в голову Айомми: как-то раз, глядя из окна на очередь за билетами в кинотеатр, где шёл фильм Марио Бава «Чёрная суббота» (в англоамериканском прокате он вышел под названием «Black Sabbath») с Борисом Карлоффом в главной роли, он заметил: «Если людям нравятся пугающие фильмы, может, им понравится пугающая музыка?»