Pierwotnie w miejscu dzisiejszego pałacu w Pilicy znajdowała się obronna siedziba rodu Toporczyków, którzy od nazwy miejscowości przyjęli nazwisko Pileccy. Od nich Pilicę kupili w 1569 roku Padniewscy herbu Nowina. Około 1610 roku kasztelan oświęcimski Wojciech Padniewski wzniósł w miejscu rezydencji Pileckich nową późnorenesansową rezydencję i przeniósł się do niej z nieodległego zamku w Smoleniu. Po wygaśnięciu rodu Padniewskich kolejnym właścicielem został Jerzy Zbaraski, który dokończył budowę.

Następnym właścicielem zamku został Konstanty Wiśniowiecki, którego córka Helena wniosła zamek w posagu Stanisławowi Warszyckiemu z Dankowa. Stanisław Warszycki rozbudował pałac, a w 1651 roku wzniósł potężne fortyfikacje otaczające zamek, dzięki czemu zamek stał się nowoczesną jak na ówczesne czasy twierdzą. Pomimo tego w 1655 roku podczas „potopu” zespół zamkowy został na krótko zajęty przez wojska szwedzkie, lecz wkrótce został odzyskany przez Warszyckiego, a szkody usunięte.
W 1705 roku wojska szwedzkie ponownie zajęły zamek. W 1731 roku Emerencjanna z Warszyckich Pociejowa sprzedała zamek Marii z Wesslów Sobieskiej, która przebudowała pałac w stylu barokowym. W 1753 roku przekazała Pilicę bratankowi Teodorowi Wesslowi i wstąpiła do klasztoru Sakramentek w Warszawie. W 1852 roku pałac nabył Krystyn August Moes, który rozpoczął remont, po którym jednak pałac spłonął w pożarze. W 1874 roku zrujnowany obiekt kupił Leon Epstein, który wyremontował pałac i nadał mu styl neorenesansowy, a fortyfikacje ozdobił w stylu romantycznym. W 1880 roku Epsteinowie opuścili Pilicę i przenieśli się do Krakowa, a do 1887 roku majątkiem kierowali zarządcy.
W 1908 roku od Pelagii z Dziewulskich (wdowy po Zdzisławie Puchale) pałac i okoliczne majątki kupił inżynier Kazimierz Arkuszewski, którego potomkowie byli właścicielami zamku do 1945 roku. W latach 1942-1944 na zamku stacjonował pluton niemieckiej zmotoryzowanej żandarmerii, który dokonał pod jego murami zbrodni, rozstrzeliwując ok. 80 Polaków i ok. 70 Żydów. W 1945 roku odebrano majątek Arkuszewskim, a pałac przeznaczono na dom dziecka, a w latach 80. XX wieku zakład poprawczego dla młodzieży. W latach 1960-1962 konserwowano częściowo pałacowe wnętrza.
Fot. tyt.: Narodowe Archiwum Cyfrowe