Das heutige Museum, ein mächtiger 3-geschossiger Schlossbau wurde in den Jahren 1753 – 1755 als Probstei des Chorherrenstifts St. Margaretha von dem Architekten Ludwig Oswald aus Villingen erbaut. Die Margarethenstatue auf dem Mittelgiebel der Probstei ist ein Werk des Bildhauers Josef Anton Hops aus Villingen. Die Stuckdecken schuf der Freiburger Stuckateur Franz Anton Vogel.
Zwischen 1815 und 1873 wurde das Gebäude als Baumwollweberei genutzt. Später zu einem Hotel umgestaltet, sah die ehemalige Probstei so erlauchte Gäste wie 1880 Kaiser Wilhelm I. mit seiner Familie. Von 1891 bis 1977 beherbergte der Schlossbau verschiedene Schulgattungen. Nach einer umfassenden Restaurierung wurde 1985 in dem barocken Schlossbau das Elztalmuseum mit seinen umfangreichen Sammlungsbeständen der Öffentlichkeit zugänglich gemacht.