Die Geschichte von Schloss Neschwitz lässt sich bis ins Mittelalter zurückverfolgen. Als der askanische Markgraf Otto IV. von Brandenburg im Jahre 1268 die Oberlausitz in die Landvogteien Bautzen und Görlitz aufteilte, tauchte in der Teilungsurkunde auch ein Ort namens „Nyzwaz“ auf, heute Neschwitz im Landkreis Bautzen in Sachsen. Zum Zeitpunkt dieser Teilung hat hier bereits eine am Hoyerswerdaer Schwarzwasser gelegene Wasserburg gestanden. Lehnsleute von Neschwitz waren zu dieser Zeit die Ritter von Schreibersdorf, eine ursprünglich aus dem niederschlesischen Jauer stammende Adelsfamilie. Der für 1454 überlieferte Umbau der alten Wasserburg zu einem Renaissanceschloss kann auf diese Familie zurückgeführt werden. Die Schreibersdorfs begannen 1543 hier auch mit der Teichwirtschaft, später wurde Neschwitz eines der Zentren der Karpfenproduktion in der Oberlausitz. 

Bis 1572 blieb das Gut, bis auf wenige Unterbrechungen noch in den Händen der Schreibersdorfer, dann ging es an Hans Haubold v. Schleinitz, anschließend an Friedrich v. Pannewitz, der das Gut 1600 an Hans v. Ponickau den Jüngeren verkaufte. Sein Nachfolger war Georg Rudolph v. Ponickau, der es an die Familie v. Theler weitergab. Der letzte der Thelers, Conrad Heinrich, verkaufte das Anwesen an Schack v. Rumohr.

Mit der Übernahme des Besitzes durch den Prinzen Friedrich Ludwig v. Württemberg-Winnental im Jahre 1721 kam es zu einer vollständigen Veränderung des Schlossgeländes. Der Prinz, der bereits seit 1703 in militärischen Diensten König August II. stand, schenkte Ursula Katharina v. Altenbockum, Reichsfürstin von Teschen und geschiedene Fürstin Lubomirska die Schlossanlage als ein „angemessenes“ Brautgeschenk. Er beauftragte den Dresdner Oberlandbaumeister Johann Friedrich Karcher, diese vollkommen umzubauen. Karcher strukturierte das fünfeinhalb Hektar große Gelände streng geometrisch zu einem Park im französischen Stil. Das alte Schloss wurde bis auf die alten, heute noch zu sehenden Kellergewölbe des ehemaligen Wasserschlosses abgerissen und darauf ein fünf Meter hoher Hügel aufgeschichtet. Auf diesen Hügel ließ Karcher ein barockes, durch Pilaster gegliedertes, zweistöckiges Gebäude mit Mansarddach bauen, umgeben von einer zweiseitigen Terrasse. Zum Mittelpunkt des Hauses wurde eine große, durch beide Etagen gehende Haupthalle.

Die Längsachse des Schlosses verläuft in einem 45°-Winkel zur Nord-Süd-Richtung von Südwest nach Nordost. Dazu im rechten Winkel wurde die Hauptachse des Schlossparks angelegt, und zwar vom Schloss aus in Richtung Nordwest. Senkrecht zur Hauptachse, annähernd im Goldenen Schnitt der Entfernung Schloss-Blaues Tor legte Karcher eine Querachse an, die im Südwesten genau auf die Neschwitzer Kirche zeigt und am Parkeingang mit zwei Torhäuschen besetzt ist. In der Gegenrichtung war die Sicht frei bzw. führte zum Forst. Am Schnittpunkt von Haupt- und Querachse wurde ein Rondell von rund 35 Metern angelegt. Beide Hauptachsen als Symmetrieachsen nutzend, entstanden 4 kleine Zweckbauten, und zwar ein Herrenpavillon, ein Bade- und Küchenpavillon, eine Bibliothek sowie ein Theaterpavillon.

Im Jahr 1723 war das Bauvorhaben beendet und Prinz Friedrich Ludwig konnte mit seiner frisch vermählten Frau in das Schloss einziehen. Sie nutzten es als Sommer- und Jagdresidenz. Allerdings währte die Freude an dem Besitz nicht sehr lange. 1734 fiel Friedrich Ludwig in der Schlacht bei Guastalla. Die Reichsfürstin veräußerte die Neschwitzer Besitzungen 1737 an Alexander Joseph Graf Sulkowski, den Außenminister von König August III. 1757 verkaufte dieser das Schloss an Johann Heinrich Simonis.

Im Jahre 1763 begann ein neuer Abschnitt in der Geschichte dieses Anwesens. Der Siebenjährige Krieg hatte auch in Neschwitz katastrophale Folgen hinterlassen. Wiederholte, in der Nähe des Ortes eingerichtete Heerlager von österreichischen und preußischen Truppen brachten Beschlagnahmungen, Brandschatzungen und Misshandlungen der Einwohner mit sich, sodass sich Gut und Schloss, insbesondere aber die Bevölkerung von Neschwitz, am Rand des Ruins befanden. In dieser Situation erwies es sich als Glücksfall, dass Wolfgang Freiherr v. Riesch 1763 Gut Neschwitz kaufte und das Schlossgelände zu seinem Sommersitz erkor. 1766 entschied der Baron, sich hier mit seiner Familie endgültig anzusiedeln und beauftragte den sächsischen Hofbaumeister Friedrich August Krubsacius, jenseits des Blauen Tores ein neues großes Schloss zu erbauen. Der Bau des Neuen Palais dauerte bis 1775.

Zum Ende des 19. Jahrhunderts war das Erbe der gräflichen Familie Riesch infolge Kinderlosigkeit an eine aus Livland stammende Linie des alten Adelsgeschlechtes derer von Vietinghoff gefallen, die sich nun Vietinghoff-Riesch nannten. Der 1860 in Salisburg in Livland geborene Arnold Gustav Heinrich (gen. Harry) Freiherr v. Vietinghoff-Riesch wurde Besitzer des Majorates Neschwitz und bis 1928 war er auch Landesältester der Oberlausitz. Mit seiner Ehefrau Marion Concordia Isabell Freifrau v. Vietinghoff-Riesch, geborene v. Funcke (1870–1945), hatte er 5 Söhne und 4 Töchter, einer der Söhne war Arnold Freiherr v. Vietinghoff-Riesch, mit dem das letzte Kapitel der Ära Riesch in Neschwitz begann.

Arnold von Vietinghoff-Riesch wurde 1895 im Schloss Neschwitz geboren, studierte Forstwissenschaften an der Königlich Sächsischen Forstakademie in Tharandt und nachdem er zunächst seinen Vater bei der Bewirtschaftung des Gutes unterstützte, übernahm er schließlich 1939 den gesamten Familienbesitz. Er machte in den 1930er Jahren Neschwitz zu einem Musterbetrieb der Land- und Forstwirtschaft, auch richtete er im Neuen Palais die Vogelschutzwarte Neschwitz als Einrichtung des Landesvereins Sächsischer Heimatschutz ein, die bis 1945 existierte. Das Wirken des Arnold v. Vietinghoff-Riesch machte den Namen Neschwitz über Landesgrenzen hinweg bekannt.

In den letzten Tagen des Zweiten Weltkrieges wurde die Kirchschule von Neschwitz und auch der Theaterpavillon im Schlosspark zerstört. Der danach von der Sowjetkommandantur eingesetzte kommunistische Bürgermeister von Neschwitz hatte das Neue Schloss zum Plündern freigegeben. In der Folge wurde es zwei Wochen nach Kriegsende, am Pfingstsonntag, den 20. Mai 1945, angezündet und bis auf die Grundmauern niedergebrannt, wobei auch die wertvollen Dokumente der Vogelschutzwarte vernichtet wurden. Im gleichen Jahr wurde Freiherr v. Vietinghoff, ungeachtet seiner Verdienste für Land und Forst, im Zuge der Bodenreform enteignet und das Schlossgelände zum Volkseigentum erklärt. 1948 wurden die Reste des Theaterpavillons abgetragen. Im gleichen Jahr erfolgte auch der Abriss der Ruine des Neuen Palais, auf seinen Grundmauern entstand eine neue, in Neschwitz dringend benötigte Schule. Von 1953 bis 1970 war Neschwitz erneut Sitz einer Vogelschutzstation, deren bekanntester Leiter der Ornithologe Gerhard Creutz (1911–1993) war. Die Station gehörte der Deutschen Akademie der Landwirtschaftswissenschaften Berlin und hatte ihre Arbeitsräume im Alten Schloss, in dem auch eine Ausstellung zu besichtigen war. In den Jahren 1958/1959 wurde der zweigeschossige Festsaal im pompejanischen Stil aus der Zeit um 1800 restauriert. Seit 1961 finden jährlich Konzerte im Festsaal und seit 1978 Wechselausstellungen zeitgenössischer Kunst in der „Kleinen Galerie“ des Schlosses statt. Erhaltungs- und Pflegemaßnahmen in Schloss und Park wurden bis zur deutschen Wiedervereinigung vor allem durch die Kulturbundgruppe Neschwitz (jetzt Kultur- und Heimatfreunde Neschwitz e.V.) durchgeführt. An der Baumasse des Alten Palais und der Pavillons wurde zur Zeit der DDR nur das Notwendigste gesichert, es drohte der Verfall. In den Jahren 1988 bis 1990 wurde die Fassade des Barockschlosses erneuert.

Mit der Vereinigung der beiden deutschen Staaten 1990 wurde die Gemeinde Neschwitz Eigentümerin von Schloss und Park. Sie übernahm damit ein schwieriges Erbe, unternimmt aber große Anstrengungen, um mit den wenigen Fördermitteln, die der Freistaat Sachsen zur Verfügung stellt, diese historische Schlossanlage zu erhalten und zu pflegen.

Der Park und die Pavillons wurden mittlerweile wieder saniert. In einen der Pavillons zog 1994 die Naturschutzstation Neschwitz ein, die unter anderem auch eine Pflegestation für verletzte Vögel betreibt. Im zweiten, dem sogenannten Bade- und Küchenpavillon ist die Touristinformation der Gemeinde Neschwitz und das Eiscafé am Schloss ansässig. Auch Vereine sind als Mieter eingezogen. Im dritten Pavillon hat die Sächsische Vogelschutzwarte ihren Sitz.