A levéltár régi épülete 1832 és 1836 között készült, eredetileg vármegyei börtön és dologház céljára.

A Széchenyi István gróf által is meglátogatott börtön építésekor az ország egyik legmodernebb rabtartó létesítményének számított. A büntetés-végrehajtási intézményben a 19. század számos híres-hírhedt alakja raboskodott. A közel 200 éves múltra visszatekintő épület több építészeti beavatkozáson esett át, a 2002. évi felújítás alkalmával azonban visszanyerte eredeti formáját. Az átalakítások csak kis mértékben érintették a földalatti börtöncellákat, amelyek közül néhány az eredetihez hasonló állapotában látható. A levéltárlátogatások egyik népszerű helyszíne az a cella, amelyben a hagyomány szerint Savanyú Jóska raboskodott.