Już w XIII wieku w Iłży istniał drewniano-ziemny gród, będący pierwszą siedzibą biskupów krakowskich na terenie obecnego miasta. Został on zniszczony przez najazdy Tatarów w połowie XIII stulecia. Spowodowało to konieczność przeniesienia miasta na przełomie XIII/XIV wieku w obecne miejsce.

W latach 1327-1347 biskup Jan Grot wzniósł nowy, murowany zamek. Na przełomie XIV i XV stulecia z inicjatywy biskupa Floriana z Mokrska zamek i miasto otoczono murami obwodowymi, a wjazd na zamek poprowadzono przez most, wsparty na kamiennych filarach. W XVI wieku biskup Filip Padniewski przebudował średniowieczny zamek w renesansową rezydencję. Wzniesiono wówczas fortyfikacje bastejowe. Na początku XVII stulecia unowocześniono umocnienia biskupiej siedziby, a dom mieszkalny i wieżę wjazdową ozdobiono attyką.
W 2. połowie XVII wieku, podczas potopu, zamek został poważnie uszkodzony przez Szwedów, a następnie wojska księcia siedmiogrodzkiego Jerzego II Rakoczego. Około 1670 roku biskup Andrzej Trzebnicki rozpoczął odbudowę rezydencji, a prace kontynuowano do 1789 roku, gdy dobra biskupie przejął skarb państwa. W dobie zaborów Austriacy umieścili na zamku lazaret.
Na początku XIX wieku w wyniku pożaru zamek został poważnie zniszczony. Po 1812 roku ruiny biskupiej warowni zaczęto rozbierać na materiał budowlany. Nie przeszkodził temu nawet Tadeusz Lubomirski, który zakupił wzgórze zamkowe i przekazał je Towarzystwu Opieki nad Zabytkami Przeszłości. Obecnie zamek w formie zabezpieczonej ruiny jest udostępniony zwiedzającym.
Fot. tyt.: Narodowe Archiwum Cyfrowe