Das Herrenhaus von Ermlitz ist ein Werk der Familie Bose, die seit dem Merseburger Bischof Johann Bose (im Amt 1431-1456) zu den bedeutendsten des Merseburger Landes zählte, doch ist es heute nur unter dem Namen der Familie bekannt, die hier seit 1771 ansässig war. An diese Zeit, in der Ermlitz den Besuch berühmter Künstler wie Carl Maria von Weber und Friedrich Baron de la Motte Fouqué, Richard Wagner und Felix Mendelssohn-Bartholdy erlebte, und in der das Schloss zu einer bedeutenden Kunstsammlung wurde, erinnert einerseits wenig, da viele in den 1940er Jahren gestohlen, zerschlagen, verteilt und an andere Plätze gebracht wurde, andererseits gibt es intensive Bemühungen, an den einstigen Glanz zu erinnern.
Auf dem Friedhof des Dorfes findet sich eine kleine Gedenkstätte für diese Zeit, die mit dem Jahr 1945 für immer beendet zu sein schien. Es handelt sich zugleich um eine Grabstätte für die damals letzten Vertreter der Familie in Ermlitz, also jene, die in den 1940er Jahren starben. Bis dahin wurden fast alle Mitglieder der Familie in Leipzig beerdigt.
Die bekanntesten Sprösslinge der Familie Apel in Ermlitz waren Johann August Apel (1771-1816), der mit dem Gespensterbuch einen Bestseller veröffentlichte, aus dem unter anderem die Novelle Der Freischütz stammt, die Carl Maria von Weber (1786-1826) als Oper auf die Bühne brachte, und Guido Theodor Apel (1811-1867), der bereits in der Kindheit in der Nikolaischule in Leipzig Richard Wagner (1813-1883) kennenlernte. Theodor wurde ebenfalls Schriftsteller und Wagner vertonte ein Gedicht des Freundes, schrieb zudem die Bühnenmusik zu seinem Drama Columbus.
25jährig erblindete Theodor nach einem Sturz vom Pferd völlig. Seine finanzielle Unabhängigkeit ermöglichte ihm dennoch ein relativ unbeschwertes Leben in Ermlitz und Leipzig. Ein bleibendes Vermächtnis sind nicht nur seine literarischen Werke, sondern auch die Stiftung der Apel-Steine in Leipzig, also jener 44 Gedenksteine, die in und um Leipzig an wichtigen Orten der Völkerschlacht von 1813 gesetzt wurden.
In direkter Nähe befindet sich das Kriegerdenkmal für den Ersten Weltkrieg.