Wchodzące w skład dóbr biskupów płockich na ziemi chełmińskiej Papowo w 1222 roku zostało podarowane biskupowi pruskiemu Chrystianowi. Kilka lat później, bo już w 1231 roku znalazła się w posiadaniu Zakonu Krzyżackiego. Pod koniec lat 70. XIII wieku, prawdopodobnie ze względów ekonomicznych, Krzyżacy rozpoczęli organizację komturii w Papowie. W tym czasie rozpoczęto budowę warowni, która trwała do początków XIV stulecia. Pierwszym komturem papowskim, wzmiankowanym w 1284 roku, był brat Aleksander.
Założenie obronne w Papowie, obejmujące obszar około 4,22 ha, składało się z zamku głównego (budynku konwentu) oraz rozległego przedzamcza. W przeciwieństwie do innych zamków krzyżackich warownia papowska została wzniesiona niemal w całości z kamienia narzutowego oraz fragmentarycznie gruzu ceglanego.
W południowo-zachodniej części założenia położony był czteroskrzydłowy zamek główny, wzniesiony na planie kwadratu (o boku 40,3 m). W jego narożach usytuowane były wieżyczki obronne, wystające poza lico muru. Poszczególne skrzydła budynku konwentu otaczały dziedziniec (o wymiarach 16,8 x 17,3 m) ze studnią w środku, wokół którego biegł dwu- lub trzykondygnacyjny krużganek. Na I piętrze skrzydła północnego, przedzielonego w przyziemiu bramą z sienią przejazdową, usytuowane były kaplica i kapitularz, przedzielone pomieszczeniem wartowniczym. W skrzydle wschodnim mieścił się prawdopodobnie refektarz, w zachodnim — dormitorium, natomiast w południowym — mieszkanie komtura. Na parterze i w piwnicach poszczególnych skrzydeł znajdowały się m.in. pomieszczenia gospodarcze, magazyny spożywcze, natomiast na najwyższych kondygnacjach — pomieszczenia magazynowe i ganki strażnicze.
Na otoczonym murem obronnym przedzamczu znajdowały się zabudowa gospodarcze (m.in. stajnie, stodoły, warsztaty). Wjazd na jego teren znajdował się od strony zachodniej i prowadził przez most nad fosą i budynek bramny wzniesiony w linii muru obronnego.
Zamek w Papowie był siedzibą komturstwa do czasu bitwy pod Grunwaldem w lipcu 1410 roku, podczas której zginął ostatni komtur Wilhelm von Rosenberg. Po zwycięskiej bitwie zamek został zajęty przez rycerstwo ziemi chełmińskiej, jednak jeszcze w tym samym roku powrócił we władanie Zakonu. Prawdopodobnie ze względu na brak kadr komturstwem papowskim zarządzał wójt z Lipienka. Na przełomie 1416 i 1417 roku powołano w Papowie prokuratorię, funkcjonującą do wybuchu wojny trzynastoletniej w 1454 roku.
Podczas wojny „głodowej” w czerwcu 1422 roku wojska Władysława Jagiełły obozowały w pobliżu Papowa, jednak nie podjęły się zaatakowania przygotowanego do obrony zamku.
Na początku powstania antykrzyżackiego, w lutym 1454 roku papowski zamek został zajęty przez oddziały Związku Pruskiego. W tym samym roku król Władysław Jagiełło polecił zniszczyć warownię, jednak jego rozkazu nie wykonano. W styczniu 1458 roku został znienacka zdobyty przez krzyżackie wojska zaciężne dowodzone przez Bernarda Szumborskiego, jednak wkrótce odbiły go wojska polskie.
Po zawarciu w październiku 1466 roku II pokoju toruńskiego Papowo wraz z zamkiem i całą ziemią chełmińską zostało przyłączone do Polski, stając się własnością królewską i siedzibą starostów. W 1505 roku król Aleksander Jagiellończyk nadał miejscowość wraz z przyległymi dobrami biskupom chełmińskim, w których rękach pozostało do I rozbioru Polski w 1772 roku.
W XVI wieku papowski zamek stracił znaczenie militarne i był wykorzystywany wyłącznie w celach gospodarczych. Rozpoczął się wówczas jego powolny upadek. W 1676 roku lustrator opisał zamek murowany manierą krzyżacką, zrujnowany, bez dachów, posów, drzwi, okien; pieców nie masz, tylko same ściany stoją i to miejscami poobalane; rezydencji żadnej w nim nie masz. W XVII wieku materiał budowlany pozyskany z rozbiórki murów zamkowych był wykorzystywany m.in. do budowy seminarium duchownego w Chełmży. W 1772 roku, po konfiskacje dóbr biskupich na podstawie decyzji króla pruskiego Fryderyka Wielkiego, zrujnowany zamek papowski przeszedł na własność państwa pruskiego.
Z dawnego zamku krzyżackiego do dziś zachowały się mury skrzydła północnego, fragmenty murów skrzydła wschodniego i zachodniego oraz fragmenty przyziemia skrzydła południowego.
