Emersa da un'ansa dell'Armançon, Semur-en-Auxois si erge orgogliosa sul suo altopiano di granito rosa.
La città si trova nella più grande delle 4 valli che compongono la regione dell'Auxois, al crocevia tra i contrafforti del Morvan, le pianure dello Châtillonnais e la periferia dell'Autunois.
Insediamento secolare, la leggenda vuole che Semur sia stato costruito da Ercole al suo ritorno dalla Spagna.
Nell'angolo c'è una strana scultura che combina le forme di una sirena e gli attributi maschili in modo malizioso.
Questa torre rinascimentale ospitava i governatori di Semur prima che si trasferissero al castello.
La facciata porta ancora l'antico nome della strada, dato nel 1791 all'epoca della Costituzione: rue Jean-Jacques.
Di fronte, una bella torretta della scala del XIII secolo presenta due teste scolpite sulla trave: Jean qui pleure e Jean qui rit, ovvero pioggia e sole.
Guardando la rue Buffon, si può notare una facciata in tufo, un materiale relativamente raro nella regione.
Se ci si gira, si vede da un lato una meridiana e accanto una specie di ostensorio, sotto il quale è scritta una frase latina che dice che "il sole splende per tutti". Dall'altra parte c'è un pozzo sormontato da una bella struttura in ferro.