Il castello di San Zeno sorge nel luogo di un insediamento alto-medioevale che fu residenza degli eredi di Ugo il Grande di Toscana divenuti in seguito i marchesi d’Este.
L’odierna costruzione (salvo l’ala veneziana e le sovrastrutture austriache) risale per buona parte al XIII secolo, quando Ezzelino, dopo averla data alle fiamme nel 1242, volle meglio fortificare Montagnana.
L’edificio ha pianta rettangolare, con un ampio cortile interno. Fino agli inizi del XIX secolo, il castello era circondato da un fossato che lo isolava anche dal lato di città. La struttura era completata da torri (di cui ne restano due) e dal vicino mastio. Inizialmente, il ponte levatoio che varcava il vallo consentendo l’accesso alla città, immetteva probabilmente nel cortile interno del castello. Si ipotizza che il passaggio sia stato poi spostato sul lato sud del castello stesso, protetto sia da questo che dall’alto mastio.
Quando Padova, Verona e le altre città del Veneto furono assoggettate da Venezia e cessarono le loro reciproche continue lotte, Montagnana prosperò come zona di produzione agricola e, in particolare, della canapa, le cui fibre erano necessarie per le corde e le vele dell’arsenale veneziano. Il castello di San Zeno fu allora adibito a deposito di tale produzione. Nel tempo continuò ad essere utilizzato come quartiere di alloggi militari, anche durante il Regno d’Italia e fino alla Prima guerra mondiale.