המוזיאון של היום, ארמון אדיר בן 3 קומות, נבנה בשנים 1753 - 1755 כפרובוסט של מנזר סנט מרגרטה על ידי האדריכל לודוויג אוסוולד מווילינגן. הפסל של מרגרט על הגמלון המרכזי של הפרובוסט הוא פרי עבודתו של הפסל יוזף אנטון הופ מווילינגן. תקרות הטיח שנוצרו פרייבורגר הטיח פרנץ אנטון פוגל.
בין השנים 1815 ו- 1873 שימש הבניין כבית אריגה מכותנה. מאוחר יותר שהפך לבית מלון, ביתו של הפרובוקטור לשעבר ראה אורחים מכובדים כמו קייזר וילהלם הראשון ומשפחתו בשנת 1880. בשנים 1891 עד 1977, בבניין הארמון היו בתי ספר שונים. לאחר שיקום מקיף, מוזיאון אלזטל עם האוסף הנרחב שלו נפתח לציבור בארמון הבארוק בשנת 1985.
