Nad płaską okolicą wznosi się widoczne z daleka zamczysko Stolpen. Patrząc z daleka mogłoby się wydawać że miasteczko jest przyklejone do zamku górującego na wzgórzu jako dodatek. Urocze małe miasteczko, ciekawie położone u stóp zamku z licznymi wąskimi uliczkami. Z malowniczego rynku, pełnego kolorowych kamieniczek spoglądamy do góry na zamek, który jakby spoglądał na mieszkańców i bacznie obserwował co oni robią.
Oczywiście potężne średniowieczne zamczysko jest główną atrakcją miasta. Wzniesione zostało z bazaltowych bloków już prawdopodobnie około 1100 roku. Można by rzec, że zamek jak zamek ale za to jakich gości przyjmowało.
Zasłynęło ono jako więzienie pięknej i przebiegłej metresy Augusta Mocnego, hrabiny Anny Cosel, która po dziesięciu latach triumfów popadła w niełaskę królewskiego kochanka.. Rozkazał on zamknąć ją w wieży, obawiając się knowań politycznych. Wieża zamkowa znana jest do dzisiaj jako Coseltrum. Sama wieża musiała być chyba bardzo wygodnym i praktycznym mieszkaniem, skoro hrabina spędziła w niej 49 lat życia, z początku jako więzień, a po śmierci króla z własnej woli.