Wie so viele Dörfer im Saalekreis besaß auch Großgräfendorf einen Herrensitz. Bereits im 13. Jahrhundert gibt es eine Adelsfamilie, die sich nach dem Ort nennt, und die recht sicher in diesem herausragenden Areal ihren Mittelpunkt hatte. Heute dominiert der Treppenturm des Schlosses den Doppelort Großgräfendorf/Strösen stärker als der Kirchturm. Er steht im Winkel des Gebäudekomplexes und fällt besonders durch seine ungewöhnliche Dachbekrönung auf. Es ist anzunehmen, dass es sich anfangs um eine Burg handelte, denn als bloßer Treppenturm wirkt der Turm zu hoch. Zudem soll in einer Urkunde von 1353 eine Burg in Großgräfendorf erwähnt sein.