Da Klöster als heilige Orte galten, gründeten viele neben der eigentlichen Klosteranlage auch ein sogenanntes Hospitium. Dieses dienten zur Unterbringung der Gäste des Klosters, etwa von Pilgern, so dass sie oft auch Klosterherberge oder Pilgerherberge genannt werden. Im Fall der Augustiner-Chorherrenstifts auf dem Petersberg gehörten zu den Besuchern auch jene, die die Gräber der Wettiner aufsuchen wollten. Das Gebäude aus dem 12. Jahrhundert besaß laut der Erklärungstafel am Eingang einen eigenen Glockenstuhl sowie einen Aborterker.
Nach der Reformation war das Gebäude überflüssig und wurde daher im Jahr 1570 zum Amtsgebäude der Domäne Petersberg erkoren. Mit dem Verfall der Klostergebäude wurde auch das Gebäude aufgegeben und die Domäne gründete sich weiter unten im Ort neu. Stiftskirche, Kapelle an der Nordeseite und Herberge an der Südseite verfielen und während die große Kirche Mitte des 19. Jahrhunderts wiederaufgebaut wurde, blieben die beiden anderen Bauten Ruinen und verfielen weiter. Im Jahr 2019 wurde die Ruine gesichert.