Należący początkowo do klasztoru norbertanek Kazimierz powstał w 1. połowie XIII w. Osada położona była na skrzyżowaniu traktu lądowego z Rusi do Lublina i dalej do Radomia i Torunia z traktem wodnym Wisłą. W tym czasie istniała tu komora celna, dla ochrony której wzniesiono na przełomie XIII i XIV stulecia cylindryczną wieżę o średnicy 10 m, sięgającą 20 m wysokości.
W latach 40. XIV wieku, z inicjatywy króla Władysława Wielkiego, pobliżu wcześniejszej wieży, wzniesiono kamienny zamek, kontrolujący okoliczne drogi, trakt wodny oraz przeprawę przez rzekę.
Warownię założono na planie wydłużonego wieloboku (30 x 65 m). Na wewnętrznym dziedzińcu prawdopodobnie znajdowały się drewniane zabudowania.
W XV wieku zarządzający zamkiem ród Grotów wzniósł od południa (od strony miasta dwukondygnacyjne skrzydło mieszkalne, od strony Wisły ceglaną wieżę mieszkalno-obronną na planie kwadrati oraz przylegające do niej skrzydło mieszkalne
W 1509 roku król Zygmunt Stary nadał prawa do zamku rodowi Firlejów. Wówczas z inicjatywy Mikołaja Firleja rozbudowano skrzydło południowe o jedną kondygnację oraz dodano renesansowe attyki.
W czasie „potopu” , w 1655 roku wojska szwedzkie spaliły warownię, którą w 1657 w znacznej części zniszczyły oddziały księcia siedmiogrodzkiego Jerzego Rakoczego. Podczas odbudowy warowni uzupełniono zabudowę od strony zachodniej oraz wzniesiono zewnętrzne schody na naroże dziedzińca.
Na początku XVIII wieku, w czasach panowania Augusta II Mocnego, powstają plany odbudowy zamku w stylu pałacowym, jednak ze względu na wojnę domową nie dochodzą do skutku. W wyniku tego zamek popada w ruinę i do końca wieku zostaje całkowicie opuszczony. W 1806 roku władze austriackie wysadziły grożącą zawaleniem się część murów wraz z attyką.
W marcu 1831, w czasie powstania listopadowego, zamku bronił Batalion Celnych Strzelców Sandomierskich pod dowództwem Stanisława Krzesimowskiego. Za udział w powstaniu Adama Czartoryskiego, należący do Czartoryskich zamek został skonfiskowany i przeszedł na własność skarbu Królestwa Polskiego.
Po przeprowadzeniu w latach 1958–1960 na terenie zamku badań archeologicznych, warownię zabezpieczono w formie trwałej ruiny i udostępniono dla ruchu turystycznego.
Fot. tyt.: zbiory Narodowego Archiwum Cyfrowego
