Le musée actuel, un puissant palais de 3 étages, a été construit dans les années 1753 - 1755 en tant que prévôt du monastère de St. Margaretha par l'architecte Ludwig Oswald de Villingen. La statue de Marguerite sur le pignon central de la prévôté est l'œuvre du sculpteur Josef Anton Hops de Villingen. Les plafonds en stuc créés Fribourgeois Le plâtrier Franz Anton Vogel.
Entre 1815 et 1873, le bâtiment a été utilisé comme usine de tissage de coton. Transformée plus tard en hôtel, l'ancienne maison du prévôt a accueilli des invités aussi distingués que l'empereur Guillaume I et sa famille en 1880. De 1891 à 1977, le bâtiment du palais abritait différents types d'écoles. Après une importante restauration, le musée Elztal avec sa vaste collection a été ouvert au public en 1985 dans le palais baroque.
