Znajdującą się na skraju miasta murowaną warownię wzniesiono prawdopodobnie w 2. połowie XIV wieku na sztucznej wyspie wśród rozlewisk Czarnej Przemszy, na miejscu wcześniejszej, drewniano-ziemnej siedziby kasztelana.

W 1443 roku biskup krakowski Zbigniew Oleśnicki wykupił dobra siewierskie od zadłużonego księcia cieszyńskiego Wacława I. Po kilkuletnim sporze z książętami śląskimi, biskupi krakowscy przyjęli tytuł książąt siewierskich, a księstwo siewierskie stało się prawie niezależnym organizmem politycznym, którego kres nastąpił dopiero w 1790 roku.
Przez stulecia biskupia rezydencja była wielokrotnie przebudowywana. W 1518 roku biskup Jan Konarski wzniósł wieżę nad nową bramą. Z jego inicjatywy powstał też nowy budynek w północno-wschodniej części zamku. Biskup Piotr Tomicki w latach 1524-1530 roku wzniósł nowe skrzydła mieszkalne oraz reprezentacyjny budynek południowy. Nadało to kompleksowi charakter renesansowej rezydencji z dziedzińcem otoczonym drewnianymi gankami. Kolejne prace polegające nad przedłużeniem i nadbudową budynku zachodniego prowadził biskup Andrzej Zebrzydowski lub biskup Filip Padniewski.
W 1575 roku biskup Franciszek Krasiński umocnił zamek, przystosowując go do wykorzystywania broni palnej. Wzniesiono dodatkowy mur zewnętrzny, zaś przestrzeń między nim a bryłą zamku wypełniono ziemią, tworząc taras artyleryjski. Brama została umocniona barbakanem.
W czasie potopu szwedzkiego księstwo siewierskie formalnie pozostawało neutralne, jednak na zamku przebywały oddziały hetmana Stefana Czarnieckiego, co skłoniło Szwedów do jego zajęcia.

W latach 1681-1699 z inicjatywy biskupa Jana Małachowskiego przebudowano skrzydła wschodniego oraz wzniesiono arkadową loggię i kuchnię od północy. Prace te dokończył Konstanty Felicjan Szaniawski. W tym czasie podwyższono basztę przy bramie, którą zwieńczono barokowym hełmem z cebulą i latarnią. Po pożarze w połowie XVIII wieku biskup Kajetan Sołtyk wyremontował wieżę.
W 1790 roku Sejm Wielki zlikwidował księstwo siewierskie wcielając je do Rzeczypospolitej. Opuszczony przez księcia biskupa Feliksa Pawła Turskiego zamek od tamtej pory popada w ruinę. Jeszcze w czasie wojen napoleońskich był wykorzystywany militarnie. Jednak od 1807 roku przez całe XIX stulecie pozostał niezamieszkany.
W latach 50. i 70. XX wieku rozpoczęto prowadzone z przerwami prace mające na celu zabezpieczenie budowli. Wznowiono je w 1999 roku zmierzając do zachowywana zamku w stanie tzw. trwałej ruiny.
Fot. tyt.: Narodowe Archiwum Cyfrowe