Замок Rastatt і сад були побудовані між 1700 і 1707 роками італійським придворним архітектором Доменіко Егідіо Россі за дорученням маркграфа Людвіга Вільгельма фон Баден.
Після того, як резиденція маркграфа Людвіга Вільгельма в Баден-Бадені була спалена французькими військами під час Пфальцської війни за спадщину, будівництво зруйнованого палацу більше не відповідало представницьким вимогам баденського правителя, і він побудував будинок для принцеси Франциски Сібілли Августи фон Заксен-Лауенбург потребував, замість його мисливського будиночка була побудована нова резиденція в ринковому містечку Раштатт.
Мисливський будиночок Corps de Logis, який був побудований лише в 1697 році, було знесено, щоб звільнити місце для нового замку. У 1700 році село Раштатт, розташоване посеред Рейнської рівнини, було піднесено до статусу міста, і маркграф переніс свій двір до Раштатта. Резиденція в Раштатті вважається найстарішою резиденцією в стилі бароко на Верхньому Рейні і була побудована за французьким зразком Версаля, в якому в абсолютистській манері правив хрещений батько Людвіга Вільгельма, король-сонце Людовик XIV.
Вся Європа дивилася на могутність французького монарха і намагалася наслідувати його. Це також пояснює, чому Людвіг Вільгельм витратив близько 12 мільйонів гульденів на замок Раштатт, щоб справити враження на регентів у Німеччині. Людвіг Вільгельм завжди намагався досягти виборчої гідності, і коли після його військових успіхів у турецьких війнах і на Рейні йому не було надано бажаних почестей і польської королівської гідності вже не доводилося сподіватися, він намагався утвердити свою претензії на владу через чудовий Раштатський палац для обґрунтування. У 1705 році сім'я маркграфа переїхала в замок, який ще не був добудований.Сам Людвіг Вільгельм не мав багато свого замку, оскільки він завжди був у польових умовах більшу частину часу і помер у 1707 році від поранення на війні. Згодом маркграфиня Франциска Сибілла Августа доручила богемському будівельнику Йоганну Міхаелю Людвігу Рореру подальше розширення замку Раштат.
Раштатський замок пізніше служив штаб-квартирою фортеці в 19 столітті.
