Dzieje Janowca, zwanego niegdyś Syrokomlą, związane są rodem Janowskich, do których należał już w XIV stuleciu. W 1491 roku miejscowość przeszła w ręce Firlejów. Kilka lat później, w 1508 roku hetman wielki koronny Mikołaj Firlej herbu Lewart rozpoczął, trwającą około 20 lat, budowę potężnego zamku. Prace kontynuował ją jego syn, wojewoda ruski Piotr Firlej.

Zamek powstał w naturalnie obronnym miejscu, na skraju wysokiej skarpy wiślanej. Wzniesiony w większości z kamienia zamek składał się budynku bramnego z basteją, wieży mieszkalnej pośrodku muru południowego oraz dwóch czworobocznych wież. Jedyna droga na zamek prowadziła przez most nad suchą fosą.
W latach 1565–1585 Andrzej Firlej, syna Piotra, przekształcił zamek we wspaniałą renesansową rezydencję. Pracami kierował włoski architekt Santi Gucci. Wówczas przy kurtynie południowej wzniesiono piętrowe skrzydło mieszkalne z attyką i krużgankami od strony dziedzińca.
Na początku XVII wieku, po przejęciu Janowca przez rodzinę Tarłów, nastąpiła kolejna rozbudowa zamku. Wzniesiono wówczas skrzydło wschodnie z krużgankami od strony dziedzińca. Skrzydło południowe zostało przedłużone, a na jego krańcach dobudowano dwie cylindryczne wieże.
W 1654 roku Janowiec, jako posag Barbary Tarłówny, przeszedł w ręce rodziny Lubomirskich. W ich posiadaniu znajdował się do 1. połowy XVIII wieku. Jednak dwa lata później, w 1656 roku zamek został ograbiony i spalony przez wojska szwedzkie, dowodzone przez Karola Gustawa. Po „potopie” szwedzkim Lubomirscy odbudowali i rozbudowali zamek, nadając mu ostateczny kształt. Wzniesiono wówczas barokową kaplicę. Odbudową kierował architekt holenderski Tylman z Gameren.

W 1783 roku Janowiec przeszedł w ręce Mikołaja Piaskowskiego herbu Junosza, podkomorzego krzemienieckiego. Po jego śmierci w 1803 roku opuszczona rezydencja zaczęła popadać w ruinę i służyć jako źródło budulca. W 1928 roku w wyniku parcelacji ruiny zamkowe zostały zakupione przez Leona Kozłowskiego, który planował go odrestaurować. Jednak nie udało się mu zrealizować ambitnych planów.
Po II wojnie światowej Leon Kozłowski został jedynym w bloku wschodnim prywatnym właścicielem zamku, ponieważ nie objęła go powojenna reforma rolna. W 1975 roku sprzedał zamek Muzeum Nadwiślańskie w Kazimierzu Dolnym, które zabezpieczyło ruiny i udostępniło je zwiedzającym. Obecnie na terenie zamku prezentowane są zbiory m.in. z dziedziny historii i archeologii.
Grafika tytułowa ze zbiorów Polona.pl