Житловий палац Раштатт і сад були побудовані між 1700 і 1707 роками італійським придворним архітектором Доменіко Егідіо Россі на замовлення маркграфа Людвіга Вільгельма Баденського.
Після того, як резиденція маркграфа Людвіга Вільгельма в Баден-Бадені була спалена французькими військами під час Війни за Пфальську спадщину, і відбудова зруйнованого замку більше не відповідала представницьким вимогам баденського правителя, і йому знадобився дім для принцеси Франциски Сібілли Августи Саксен-Лауенбургської, з якою він одружився в 1690 році, на місці його мисливського будиночка в ринковому містечку Раштатт було збудовано нову резиденцію.
Мисливський будиночок Corps de Logis, який був побудований лише в 1697 році, було знесено, щоб звільнити місце для нового замку. Село Раштатт, розташоване посеред Рейнської рівнини, було перетворено на місто в 1700 році, і маркграф переніс свій двір до Раштатта. Житловий палац Раштатт вважається найстарішою резиденцією в стилі бароко на Верхньому Рейні і був побудований за французьким зразком Версаля, в якому абсолютистськи правив хрещений батько Людвіга Вільгельма, король-сонце Людовик XIV.
Вся Європа дивилася на могутність французького монарха і намагалася наслідувати його. Це також пояснює, чому Людвіг Вільгельм витратив близько 12 мільйонів гульденів на замок Раштатт, щоб справити враження на регентів у Німеччині. Людвіг Вільгельм завжди намагався досягти виборчої гідності, і коли після його військових успіхів у турецьких війнах і на Рейні йому не було надано бажаних почестей і польської королівської гідності вже не доводилося сподіватися, він намагався утвердити свою претензії на владу через чудовий Раштатський палац для обґрунтування. У 1705 році сім'я маркграфа переїхала в замок, який ще не був добудований.Сам Людвіг Вільгельм не мав багато свого замку, оскільки він завжди був у польових умовах більшу частину часу і помер у 1707 році від поранення на війні. Згодом маркграфиня Франциска Сибілла Августа доручила богемському будівельнику Йоганну Міхаелю Людвігу Рореру подальше розширення замку Раштат.
Раштатський замок пізніше служив штаб-квартирою фортеці в 19 столітті.
