Doskonałe obronne położenie dzisiejszego zamku już we wczesnym średniowieczu wykorzystywali Prusowie, którzy założyli tu gród Leckbarg. Około 1240 roku najechali je i spalili Krzyżacy, którzy w miejscu grodu wznieśli drewniano-ziemną strażnicę. Po utworzeniu w 1251 roku biskupstwa warmińskiego, Warmia wraz Lidzbarkiem znalazła się we władaniu biskupa Anzelmna. Rozwój miasta nastąpił po przeniesieniu w 1. połowie XIV wieku siedziby biskupiej z Ornety.
W latach 1350-1355 biskup Jan z Miśni rozpoczął budowę murowanego założenia wzorowanego na wzór krzyżackich zamkach konwentualnych. Prace zakończono dopiero w 1401 roku, za rządów biskupa Henryka III Sorboma. W efekcie powstała otoczona wodami Łyny i Symsarny czteroskrzydłowa budowla z dwoma obwarowanymi przedzamczami.
W 1454 roku, po wybuchu antykrzyżackiego powstania, lidzbarscy mieszczanie siłą usunęli sprzyjającego Krzyżakom biskupa Franciszka Kuhschmulza. Po zawarciu w 1466 roku II pokoju toruńskiego, Lidzbark znalazł się w granicach Rzeczypospolitej i aż do 1795 roku był siedzibą polskich biskupów. Krzyżacy jeszcze w 1520 roku próbowali zdobyć zamek, lecz bezskutecznie.
Ponad 100 lat później, w 1626 roku, wojska szwedzkie zniszczyły zarówno miasto jak i zamek. Podczas III wojny północnej zamek został ponownie zajęty przez Szwedów i ograbiony. Biskupi Krzysztof Andrzej Szembek i Adam Stanisław Grabowski próbowali swojej siedzibie przywrócić dawną świetność. Jednak za rządów biskupów Karola i Józefa Hohenzollernów biskupia rezydencja zaczęła podupadać i została ostatecznie opuszczona.
W XIX stuleciu pełnił różne funkcje, od lazaretu, przez piekarnię, po koszary. Władze pruskie nakazały nawet jego rozbiórkę, ale po protestach mieszkańców Lidzbarka odstąpiono od tego pomysłu. W 2. połowie XIX wieku na zamku założono szpital i sierociniec św. Józefa, przeprowadzając przy okazji remont obiektu. Po II wojnie światowej na zamku urządzono oddział Muzeum Warmii i Mazur.
Fot. tyt.: Artur Hinz, Burg Heilsberg: ein Geschichtbild, zb. Biblioteka Narodowa
