Obecnie istniejący zamek kapituły pomezańskiej jest drugim w kolejności zamkiem, wzniesionym w Kwidzynie. Pierwszy został wzniesiony przez Krzyżaków prawdopodobnie na miejscu wcześniejszego pruskiego grodu Quidin. W 1250 roku warownia została przekazana biskupowi pomezańskiemu. Istniała ona do 1520 roku, kiedy to została zniszczona, a następnie rozebrana.
Do budowy istniejącego obecnie zamku przystąpiono na przełomie XIII i XIV wieku. Warownię wzniesiono z kamieni i cegieł w formie czteroskrzydłowej budowli na planie zbliżonym do kwadratu, z wieżami w narożach, dwukondygnacyjnym krużgankiem na dziedzińcu i wjazdem od strony północnej, gdzie znajdowało się gospodarcze przedzamcze. Większość prac budowlanych przy zamku zakończono w latach 1340–1350, natomiast gdanisko ukończono w latach 80. XIV wieku.
Pierwotnie zamek stanowił samodzielne założenie, dopiero wtórnie został połączony z katedrą, a jego najwyższą, narożną wieżę południowo-wschodnią przekształcono w dzwonnicę. Ukończenie nowego kościoła katedralnego jest datowane na okres rządów biskupa Jana Möncha (1377–1409). W tym czasie powstał w Kwidzynie unikatowy zespół architektoniczny, w którego skład weszły dwa zamki (biskupi i kapituły), katedra oraz miasto. Zamek stał się siedzibą kapituły pomezańskiej, a także centrum religijnym i polityczno-administracyjnym.
Na mocy ustaleń II pokoju toruńskiego Kwidzyn, wraz z biskupim dominium biskupim, znalazł się w Prusach krzyżackich. Biskupstwo pomezańskie zostało dożywotnio oddane polskiemu biskupowi chełmińskiemu Wincentemu Kiełbasie. Po jego śmierci Zakon podjął próbę obsady biskupstwa pomezańskiego, mając poparcie ze strony kapituły katedralnej. Doprowadziło to interwencji wojsk polskich na terenach należących do biskupstwa pomezańskiego i warmińskiego. W 1478 roku wojska polskie zdobyły Kwidzyn. Mieszczanie schronili się w zamku kapituły i podpalili miasto. W trakcie działań wojennych zamek został poważnie uszkodzony – podczas prac remontowych przeprowadzonych w roku 1487, rozebrano uszkodzone wieże narożne.
W 1520 roku podczas ostatniego konfliktu polsko-krzyżackiego, wojska polskie zniszczyły całkowicie zamek biskupi i uszkodziły zamek kapituły. Po sekularyzacji Zakonu Krzyżackiego, w 1526 roku biskupi pomezańscy przeszli na protestantyzm. W latach 30 XVI wieku pierwszy biskup protestancki Paulus Speratus, przeprowadził na własny koszt remont zamku kapitulnego. Po jego śmierci, w roku 1551 zamek przeszedł w ręce księcia Albrechta Hohenzollerna, stając się budynkiem rządowym i rezydencją.
W 1728 roku skrzydło południowe zamku zostało przekształcone w magazyn dla garnizonu wojskowego. Po pierwszym rozbiorze Polski zamek stał się siedzibą sądu. W związku ze zmianą funkcji, przeprowadzono konieczne prace adaptacyjne. W salach I piętra wprowadzono podział na szereg małych pomieszczeń. Rozebrano częściowo zachodni krużganek, budując schody prowadzące z dziedzińca na I piętro. Część zamku zaadaptowano na cele więzienne. W 1798 roku podjęto decyzję o rozbiórce dwóch skrzydeł zamkowych: wschodniego i reprezentacyjnego południowego na materiał budowlany.
Po 1854 roku, na mocy rozporządzenia króla Fryderyka Wilhelma IV, zaprzestano dewastacji zamku i rozpoczęto prace rekonstrukcyjne. Ich najistotniejszy etap przeprowadzono w roku 1874, pod kierunkiem Gustava Reicherta. W rezultacie odbudowano wieże narożne, zrekonstruowano sklepienia w pomieszczeniach pierwszego piętra skrzydła północnego i uzupełniono detal architektoniczny.
Zamek pełnił funkcje sądu i więzienia do 1935 roku. W 1936 roku, po przeprowadzeniu szeregu prac adaptacyjnych, zamek stał się siedzibą hitlerowskiej szkoły Hitlerjugend. Po zajęciu miasta przez Armie Czerwoną zamek szczęśliwie uniknął poważniejszych zniszczeń. Splądrowano jedynie jego wnętrza.
W grudniu 1949 roku zamek został przejęty przez Ministerstwo Kultury i Sztuki. Obecnie mieści się w nim Muzeum w Kwidzynie.
Fot. tyt.: Biblioteka Narodowa
