Auch wenn die Familie Apel das Herrenhaus des Rittergutes von Ermlitz nicht erbaut hat, so ist es heute doch unter ihrem Namen bekannt geworden. Die Leipziger Kaufmannsfamilie war seit dem Jahr 1771 im Ort ansässig, wie ein Gedenkstein auf dem nahen Friedhof verrät. Erbaut haben es aber Sprosse der weitverzweigten Adelsfamilie Bose, genauer gesagt Carl Ludwig von Bose (1684-1756) auf Ermlitz, wie man auf der Homepage des Gutes nachlesen kann. Dieser Carl Ludwig ist nicht zu verwechseln mit gleichnamigen Vertretern der Familie in Frankleben (1783-1848) oder dem Nachbarort Oberthau (1757-1817). Der Ermlitzer stammte aus Benkendorf, kam in den Besitz, nachdem der Vorbesitzer (ebenfalls ein Bose) kinderlos gestorben war und baute um 1700 das Herrenhaus wohl neu.
1771 wurde es durch den späteren Leipziger Bürgermeister Heinrich Friedrich Innocentius Apel (1732-1802) erworben, dessen Familie hier bis zum Jahr 1945 blieb. Wir haben in Ermlitz also den seltenen Fall vor uns, dass in einem fast halben Jahrtausend nur zwei Familien als Besitzer auftauchen, denn wie bei den meisten Ästen und Zweigen resultiert der Erwerb des Gutes durch die Familie Bose aus dem 15. Jahrhundert, also der Zeit während oder nachdem Johann Bose Bischof von Merseburg (1431-1463) war.
Das Rittergut von Ermlitz gehörte laut dem Landesarchiv Sachsen-Anhalt anfangs den Markgrafen von Meißen, ist erstmals 1262 nachweisbar und ging im Jahr 1271 an die Bischöfe von Merseburg. Wann genau die von Bose es als Lehen erhielten, konnten wir noch nicht ermitteln, doch muss es vor dem Jahr 1484 gewesen sein, da sie in diesem erstmals als Gerichtsherren in Ermlitz genannt wurden.
In seiner heutigen Gestalt handelt es sich um einen schloßartigen Bau mit ausgedehnten Nebengebäuden, darunter ein Kornhaus und ein Kuhstall. Diese ziehen sich auch entlang der Südseite des Friedhofs.