Die Anfänge des Schlosses Oggersheim sind darin begründet, dass der damalige Erbprinz der Kurpfalz, Joseph Karl Emanuel von Pfalz-Sulzbach (1694-1729), im Jahr 1720 begann, sich in Oggersheim ein „Maison de Plaisance“, also ein Landhaus bzw. Lustschloss mit Garten zu bauen. Erbprinz war er deshalb, weil er seit 1717 mit Elisabeth Auguste Sofie von der Pfalz, der Tochter des Kurfürsten Karl Philipp von Pfalz-Neuburg verheiratet war und der Kurfürst wie seine Brüder keine legitimen männlichen Nachkommen hatten.

An der Mannheimer Straße entstanden so zunächst zwei einstöckige Gebäude (Pavillons) mit einer Verbindungsmauer und einem Garten. Um 1728 kam ein dritter Pavillon, ein Küchengebäude und ein Turm hinzu und der Schlossgarten mit Teehaus wurde vergrößert. Außerdem ließ der Erbprinz 1728 in Sichtweite eine Wallfahrtskapelle erbauen.

Elisabeth Auguste Sofie und Joseph Karl Emanuel starben 1728 und 1729 früh, drei männliche und ein weiblicher Nachkomme waren nicht lebend zur Welt gekommen bzw. im Kindesalter gestorben. So hatte das Paar hatte drei lebende weibliche Nachkommen, Maria Elisabeth Auguste, die spätere Kurfürstin, Maria Anna, spätere Herzogin von Bayern und Maria Franziska Dorothea, spätere Pfalzgräfin und Herzogin von Birkenfeld. Jedoch galt ausschließlich die männliche Erbfolge.

Somit folgte als Erbprinz der Bruder des verstorbenen Joseph Karl Emanuel, Johann Christian Josef und Vater des späteren Kurfürsten Carl Theodor von Pfalz-Sulzbach. Um die Schulden des verstorbenen Erbprinzen Joseph Karl Emanuel zu decken, wurde die Einrichtung des Schlösschens 1730 versteigert. Mit dem Garten verwaiste auch das kleine Lustschloss über 20 Jahre hin. Da auch Erbprinz Johann Christian Josef bereits vor dem Tod des Kurfürsten Karl Philipp 1733 starb, schien die Rolle Oggersheim als Residenzort eines Mitglieds der kurfürstlichen Familie früh und für lange Zeit beendet. Durch Wallfahrtskapelle blieb jedoch Oggersheim  als religiöser Ort für die katholischen Wittelsbacher und Mitglieder der kurfürstlichen Familie, vor allem auch für Elisabeth Auguste und Carl Theodor präsent.

Nach einer langen Zeit des Vergessens kaufte nun 1751 Pfalzgraf Friedrich Michael von Zweibrücken (1724-1767), seit 1746 zum katholischen Glauben konvertiert und mit Maria Franziska Dorothea von Pfalz-Sulzbach (1724-1794) verheiratet, den Sommersitz und ließ die kleine Residenz mit finanzieller Unterstützung von Kurfürst Carl Theodor im überwiegenden Teil in mehreren Phasen  innerhalb von sechs Jahren zu einem großen mehrgeschoßigen Schloss mit einer großzügig erweiterten Schlossanlage ausbauen. Dazu gehörten verschiedene Anlagen, der Schlossgarten mit Laubengängen, Brunnen und Statuen, eine Orangerie mit Pflanzgarten und Gärtnerwohnungen, ein Badehaus und eine neue Chinoise. Ein großes Wasserbassin wurde angelegt, von dem ein mit Booten schiffbarer Kanal in Richtung Rhein führte. In einer Menagerie wurden Schau- und Nutztiere gehalten. Außerdem ließ er ein Gebäude den Marstall außerhalb des Schlosses zum Marstall ausbauen und ein eigenes Klostergebäude für Wallfahrt bauen. In südlicher Gemarkung ließ er einen kleines Jagdwäldchen, „Fasanenwald“, einhegen. Die Poststation wurde von Maudach nach Oggersheim verlegt.

Elisabeth Auguste von Pfalz-Sulzbach (1721-1794), hatte 1742 ihren Cousin Carl Theodor von Pfalz Sulzbach geheiratet, der im gleichen Jahr auch Kurfürst der Pfalz wurde. Dieser hatte Anfang des Jahres 1768 das Schloss mit seinen Anlagen nach dem Tod von Friedrich Michael vom Schlosserben Karl August von Pfalz-Zweibrücken gekauft und Elisabeth Auguste das Schloss Oggersheim geschenkt, welche dieses im gleichen Jahr als Sommersitz bezog. Die Eheleute lebten weitgehend getrennt, vor allem seit der einzige Sohn Franz Ludwig Joseph, Erbprinz von Pfalz-Sulzbach, gleich bei der Geburt 1761 in Schwetzingen gestorben war.

Allerdings bezahlte Carl Theodor den stattlichen Kaufpreis von 140000 Gulden für das Schloss mit Anwesen nur mit 12000 Gulden in bar, ließ den Rest zunächst als verzinstes Darlehen bei der kurpfälzischen Staatskasse stehen und zahlte die komplette Kaufsumme mit Zinsen erst 1777 mit Hilfe eines Darlehens der Kurpfalz bei einem Schweizer Bankhaus ab.

Die Kürfürstin wohnte schließlich seit 1781, solange es die warmen Tage des Jahres zuließen, in Schloss Oggersheim. Sobald die Temperaturen winterlich wurden, wich Elisabeth Auguste aber vermutlich auf das besser beheizbare Schloss Mannheim aus.  Elisabeth Augustes Bauleistungen bestanden im Ausbau des Winterbaus, die Aufstockung der noch einstöckigen Schlosstrakte und der Bau eines neuen Kommunikationsganges. Sie ließ eine imposante Schlosskirche bauen, in der die Lorettokapelle integriert wurde. Sie hatte um sich einen „Hofstaat“ mit zahlreichen Bediensteten. Mit dem erneuten Heranrücken der französischen Armee nach 1792 im Jahr 1793 floh Elisabeth August nach Schloss Weinheim und überließ das Schloss den Schlossverwaltern.

Infolge der Koalitionskriege der europäischen Monarchen gegen das revolutionäre Frankreich und der Eroberung der linken Rheinseite wurde das Schloss sowohl durch die französischen Truppen also auch durch die Truppen der Koalition, wie den Österreichern, teilweise durch Unachtsamkeit mit Feuer, kriegerische Handlungen und Plünderungen zerstört und ruiniert.

Carl Theodor entschied schließlich im August 1797, Schloss Oggersheim nicht wieder aufzubauen und die verbliebenen Gebäude und das Areal zur wirtschaftlichen Nutzung zu veräußern. Im Frieden von Frieden von Campoformio 1797 erkannte Kaiser Franz II, den Rhein als Ostgrenze Frankreichs an. Oggersheim wurde 1798 französisch, offiziell deklariert 1801 durch den Vertrag von Luneville. Kirchengüter und adlige Güter wurden verstaatlicht und teilweise versteigert. Auch von Schloss Oggersheim wurden 1800 die restlichen Materialien Steine versteigert. 

Im Jahr 1813 eroberte die Koalition gegen Napoleon die linksrheinischen Gebiete mit der Pfalz zurück und Oggersheim kam unter Österreichisch-Bayerische Verwaltung, 1816 mit dem gebildeten Rheinkreis zum Königreich Bayern. Die Anlagen des Schlosses, u.a. das Orangeriegebäude wurden 1828 im Auftrag des Freiherrn von Berkheim, großherzoglicher badischer Staatsminister in Karlsruhe und des Freiherrn von Wurmser, ehemaliger königl. Französischer Feldmarschall in Straßburg zum Kauf in Form freiwilliger öffentlicher Versteigerung angeboten.