Der romantische Schlossgarten mit einer Grundfläche von 60x60 Metern befindet sich inmitten alter Burgmauern aus dem 12. Jahrhundert. Die Mauern waren Teil der ursprünglichen Burganlage, in der sich heute das Vermessungsamt befindet.
Heute lädt der Schlossgarten zu Spaziergängen ein, stellt eine unverwechselbare Kulisse für Fotoshootings dar und ist die Heimat vieler Abensberger Feste, wie dem historischen Bürgerfest, dem vorweihnachtlichen Niklasmarkt oder dem Schlossgartenfest.