Die Karlsburg liegt auf einem Felssporn am linken Mainufer gegenüber der Stadt Karlstadt.
Der Aufstieg beginnt im Stadtteil Mühlbach. Neben den "Burglichtspielen" führen zwei schmale Treppen auf einen 500 m langen Waldweg, der stetig ansteigend, vorbei am Schlössle, einer 1910 erbauten Villa, zur Ruine führt.
Hinter der steinernen Burg befinden sich im Ackergelände gerade noch wahrnehmbare Wallreste einer früh- bis hochmittelalterlichen Anlage von etwa 170 x 120 Meter Größe.
Geschichte: Die Anfänge der nördlich von Karlstadt am linken Mainufer gelegenen Talsiedlung Karlburg und der gleichnamigen Höhenburg gehen auf die Zeit um 600 zurück. Sie gehören so zu den ältesten Siedlungsplätzen in der Epoche der fränkischen Landnahme am Main. Der Namensbestandteil "Karl-" ist das althochdeutsche Wort für (freier) Mann, das auch später als Vorname verwendet wurde.
Der Burgberg, nach Süden und Osten durch Steilhänge von Natur aus gesichert, wurde im Westen und Norden durch ein Graben- und Wallsystem befestigt. Durch eine zweite Bauphase im 10. Jahrhundert wurde eine Mauer mit viereckigen Bastionen errichtet. Neben der Aufgabe als Fluchtburg dürfte die Anlage auch Funktionen der Landeserschließung und Verwaltung erfüllt haben.
1254 urkundete erstmals ein Bischof auf der Karlsburg, die in den nachfolgenden Unruhejahren öfter zum Zufluchtsort der Landesherren wurde. 1336 wird eine der Hl. Gertrud geweihte Burgkapelle erwähnt. 1409 musste Bischof Johann von Egloffstein wegen hoher Schulden die Burg pfandweise dem Domkapitel überlassen, in dessen Besitz sie bis 1493 blieb. In diese Zeit fielen zahlreiche Sanierungs- und Ausbaumaßnahmen, u.a. der seinerzeit viel bestaunte ca. 60 m tiefe Brunnen.
Nur 32 Jahre nach Wiedereinlösung der Burg durch die Bischöfe zerstörten im Frühjahr 1525 die Karlstadter sie nach langem Zögern, kurz bevor der Bauernkrieg im Hochstift Würzburg blutig niedergeschlagen wurde. Steinräuber dezimierten bis in die Mitte des 19. Jahrhunderts die Überreste. Seit 1960 ist die Burg in der Obhut und Pflege des Landkreises Main-Spessart.