Das Rosgartenmuseum ist in einem Zunfthaus der Metzger untergebracht. Der gotische Zunftsaal dient sowohl als Ausstellungs- als auch als Veranstaltungsraum.

Seit 1870 dient das Gebäude als Museum. Doch als Museumsgründer Ludwig Leiner mit den ersten Beständen in das städtische Gebäude einzog, mussten zuerst eine »Frauenbeschäftigungsanstalt«, eine jüdische Schule, eine Kommissbrotbäckerei und einige Gesangsvereine ausziehen, um dem Museum Platz zu machen.