Dzisiejsze muzeum, potężny 3-piętrowy budynek zamkowy, zostało zbudowane w latach 1753-1755 jako siedziba prepozyta klasztoru kanoników św. Małgorzaty przez architekta Ludwiga Oswalda z Villingen. Pomnik Małgorzaty na centralnym szczycie prepozyta jest dziełem rzeźbiarza Josefa Antona Hopsa z Villingen. Sztukateryjne sufity wykonał tynkarz z Fryburga Franz Anton Vogel.
W latach 1815-1873 budynek służył jako tkalnia bawełny. Później przekształcony w hotel, dawny proboszcz przyjmował znamienitych gości, takich jak cesarz Wilhelm I i jego rodzina w 1880 roku. W latach 1891-1977 w budynku pałacu mieściły się różne typy szkół. Po gruntownej renowacji w 1985 roku w barokowym budynku pałacu otwarto dla zwiedzających Muzeum Elztal z jego bogatymi zbiorami.
