El museo actual, un imponente palacio de 3 plantas, fue construido en los años 1753 - 1755 como preboste del monasterio de Santa Margarita por el arquitecto Ludwig Oswald de Villingen. La estatua de Margarita en el frontón central del preboste es obra del escultor Josef Anton Hops de Villingen. Los techos de estuco creados Friburgo Yesero Franz Anton Vogel.
Entre 1815 y 1873 el edificio se utilizó como tejido de algodón. Más tarde, convertida en hotel, la casa del antiguo preboste recibió en 1880 a huéspedes tan distinguidos como el Kaiser Wilhelm I y su familia. De 1891 a 1977, el edificio del palacio albergó diferentes tipos de escuelas. Después de una extensa restauración, el Museo Elztal con su extensa colección se abrió al público en 1985 en el palacio barroco.
