Im ehemaligen Karmelitenkloster wirkten die Karmeliter über 400 Jahre und machten sich besonders im kulturellen und bildenden Sektor verdient. Um 1802 mussten sie die Räumlichkeiten für immer verlassen und nach Straubing umziehen.
Denn wie viele andere auch, fiel das Karmelitenkloster der Säkularisierung zum Opfer. Während den napoleonischen Kriegen
richtete der Bader Anton Wittmann ein Feldlazarett ein. Ab 1812 dienten die Räumlichkeiten als städtisches Krankenhaus.
Hier kamen 1979 die letzten original Abensberger zur Welt, denn seit der Schließung des Abensberger Krankenhauses müssen sie auf Mainburg oder Kelheim ausweichen. Erst das Bestreben nach einem Kulturzentrum brachten die alten Mauern erneut in den Fokus des Interesses. Die Anfänge des Aventinums in den 1980er Jahren bedeuteten Räumlichkeiten für die Weltenburger Akademie und die Sammlung des Heimatvereins. Die Stadt sanierte den größten Denkmalkomplex der Altstadt bis zum Jahr 2017. Das Aventinum bietet unter anderem der Volkshochschule Abensberg, der Ostbayerischen Technischen Hochschule und zahlreichen Kunst- und Kulturveranstaltungen Raum.
Zum alten Kloster gehört das westlich angrenzende Gebäude, das heutige Amt für Ernährung, Landwirtschaft und Forsten. Dort befand sich die Klosterbäckerei, aus der der Bäckersohn und spätere Krippenbaumeister Sebastian Osterrieder (eigentlich Albatros) stammte. Als dieser Abensberg den Rücken kehrte, zog in die Räumlichkeiten die Druckerei Senn, später bekannt als Druckerei Kral, welche ab 1851 das Abensberger Wochenblatt druckte, die später zur Druckerei Kral wurde.
