Friedrich v. Metzradt gründete um 1300 den Herrschaftssitz Milkel. Mit ihm und seiner Familie entsteht 1322 die Kirche Milkel. Die Familie Metzradt residierte in Milkel bis 1595. Der Familie v. Metzradt folgte von 1595 bis 1617 die Familie v. Löben, von 1617 bis 1640 die Familie v. Krahe und 1640 bis 1759 die Familie v. Ponickau. 1719/20 wurde durch die Familie v. Ponickau der Nordturm angebaut und die heutige Grundform geschaffen. Da Moritzburg 1724/25 in die jetzige Form gebracht wurde, liegt es nahe, dass Milkel das Pilotprojekt für Moritzburg war. Von 1759 bis 1769 bewohnten Schloss Milkel Gräfin v. Gersdorf und Caroline Auguste v. Löben. Von 1769 bis 1908 befand sich Milkel dann im Besitz der Familie v. Einsiedel. 1908 übernahm die Landesbank zu Berlin den Besitz und verkaufte diesen an die Familie v. Holnstein, die das Schloss umfangreich sanierte und bis zur Enteignung 1945 bewohnte. Von 1945 bis 1948 wurde Schloss Milkel als Flüchtlingslager genutzt, 1948 bis 1953 bildete der Freie Deutsche Gewerkschaftsbund hier seine Funktionäre in den Grundfragen des Marxismus und Leninismus aus. Von 1953 bis 1993 nutzte die sorbische Sprachschule das Areal. In den Jahren 1993 bis 1998 stand das Schloss leer, wurde aber nicht verkauft und aufgrund des hohen Reparaturstaus dem Verfall preisgegeben. 1998 kaufte Hermann Fuchs aus Unterfranken das Schloss und begann bereits 1997 mit der Substanzrettung. Nach 20-jährigen Sanierungsarbeiten sind heute das Schloss, die Kavaliershäuser, der Park und die Begräbnisstätten der Vorbesitzer in einem denkmalwürdigen Zustand. In der Sichtachse nach Westen durch die Parkanlagen ist im Parterre der symmetrische, französisch angelegte Parkteil mit Sandstein-Skulpturen und weiteren Schmuckelementen ausgestattet. Zum größeren, englischen Landschaftspark führen eine Sandsteinbrücke und die 2005 auf altem Grund errichtete Schmiedeeisenbrücke. Die etwa 22 Barock- und Rokokofigurengruppen, die beide Parkanlagen vor 1945 schmückten, wurden in der Nachkriegszeit zerschlagen und verscharrt. Teile hiervon wurden bei Planierungsarbeiten in der Nähe des Ölhäuschens 2004 ausgegraben, gereinigt und im Schloss ausgestellt. Der von vielen Wegen durchzogene englische Landschaftspark weist deutliche Strukturen der Fürst Pückler‘schen Parkgestaltung auf. Vom afrikanischen Tulpenbaum über Eschenahorn bis zu den heimischen Stieleichen und Rotbuchen sind jahrhundertealte Naturwunder zu finden. Heute wird das Schloss als Standesamt sowie Tagungs- und Begegnungsstätte genutzt.