Der Ursprung der "Dornburg", wie man das Dornberger Schloss in früheren Zeiten nannte, ist weitgehend unbekannt.
Durch archäologische Untersuchungen, bei denen man auf Befestigungsanlagen stieß, wurde herausgefunden, dass der Ursprung des Schlosses wohl auf die Römer zurückging.

In den Geschichtsbüchern taucht die "Dornburg" 1160 erstmals als Sitz der Herren "von Dornberg" auf. Die Burg war durch eine Mauer und einen Wassergraben geschützt. 1259 wurden deren Nachfolger die Grafen von Katzenelnbogen, die die Burg Dornberg als Sitz der gräflichen Kellerei auswiesen. Der Besitz ging auf dem Erbweg 1479 (von Philipp dem Älteren über seine Tochter Anna) an die Landgrafschaft Hessen, die diesen als Jagdschloss nutzte.

Während des Dreißigjährigen Krieges (1618 - 1648) bietet das Schloss Schutz gegen Überfälle.

Während des Pfälzischen Erbfolgekrieges (1688–1697), wurde das Dornberger Schloss im Februar 1689 zuerst von französischen Truppen besetzt und dann niedergebrannt.

Aus den Trümmern entstanden an anderen Stellen neue Gebäude. Auch die Umfassungsmauer der in unmittelbarer Nachbarschaft liegenden Fasanerie besteht teilweise aus den Überresten des Dornberger Schlosses.

1730 werden auf dem Gelände ein Jagdhaus und später ein Gebäude für das Forstamt gebaut.

Der erste Vorsteher des Landratsbezirks, Ernst Wilhelm Heim, nutzte das Schloss Dornberg ab 1825 als Amtssitz. Am 3. Juni 1826 gründete er Sparkasse Groß-Gerau.

1941 werden Schutzunterstände gegen Luftangriffe gebaut.

1953 übernahm der Kreis Groß-Gerau das Gelände. Die Reste des Schlosses wurden bis 1963 als Jugendherberge genutzt. Ab diesem Zeitpunkt war hier ein Treffpunkt für Jugendliche.

2005 ließen Auflagen der Bauaufsicht und des Brandschutzes eine weitere Nutzung als Jugendheim nicht mehr zu. Vorgaben des Denkmalschutzes gestatten es nicht oder nur mit sehr großem Aufwand, bestimmte aus dem 19. und frühen 20. Jahrhundert stammende Gebäudeteile am Dornberger Schloss baulich funktional zu optimieren.

Eine weitere geologische Besonderheit galt es zu beachten. Rund um das Dornberger Schloss befindet sich das Feuchtgebiet des alten Neckarbettes. Das gesamte Areal unterliegt als Bodendenkmal ebenfalls besonderen Vorgaben.

Das Schloss, in dem vor 173 Jahren der erste Landrat des Kreises, Ernst Wilhelm Heim, residierte, wurde zwischen 2005 und 2007 in ein modernes Kultur- und Bildungszentrum umgebaut. Es entstanden Verwaltungs- und Seminarräume für die Kreisvolkshochschule. Die im Innenbereich liegende Freifläche soll für kulturelle Veranstaltungen genutzt werden.

Dies alles erfolgte in Abstimmung mit der Denkmalpflege. Die alte Steinmauer an der Front zur Straße blieb erhalten und in das neue Gebäudeensemble integriert. Dies gilt ebenso für den 700 Jahre alte Torbogen und sein Pendant auf der optischen Achse, das Torbogenhaus. Auch das Forthaus blieb als Gebäude erhalten.