Luego de reunirse a grabar tres pistas nuevas para el álbum recopilatorio Black Sabbath: The Dio Years, la agrupación decidió trabajar en un larga duración. A causa de la continuidad de la banda Black Sabbath con su formación original (Iommi / Butler / Osbourne / Ward), y de que en el mismo año 2006 fueron introducidos en el Salón de la Fama del Rock and Roll, Tony Iommi y Sharon Osbourne firmaron un acuerdo por el cual el nombre de "Black Sabbath" no se podía utilizar a no ser que Ozzy formara parte de la agrupación. Debido a esta situación los integrantes optaron por usar el nombre "Heaven & Hell" para poder continuar con el proyecto del álbum. Este nombre proviene del primer disco que grabó la banda con Dio, tras su ingreso al grupo en 1979. The Devil You Know resultó ser la última aparición de Ronnie James Dio en un disco antes de su muerte en mayo de 2010.
