Die Altenburg befindet sich auf dem höchsten der 7 Bamberger Hügel. Sie wurde 1109 erstmals in einer Urkunde erwähnt, mit der Bischof Otto von Bamberg die Burganlage dem Kollegiatstift St. Jakob übereignete. Die Burg war von 1305 bis 1553 die zweite Residenz der Bamberger Fürstbischöfe. In ihren heutigen Ausmaßen entstand die Burg im frühen 15. Jahrhundert.
Den Bauernkrieg überstand die Altenburg ohne größeren Schaden, den Zweiten Markgrafenkrieg von 1553 allerdings nicht. Sie wurde nach der Übergabe an das Kriegsheer des Markgrafen Albrecht Alcibiades von Brandenburg-Kulmbach der Zerstörung preisgegeben.
Ein Erdrutsch zerstörte im letzten Viertel des 18. Jahrhunderts Teile der Ostmauer. Diese Mauern wurden erst wieder im beginnenden 21. Jahrhundert in Sichtbeton neu errichtet.