Das St. Albantor (1230 erstmals geschichtlich erwähnt) gehörte zur 1. und 2. Stadtbefestigung Basels. Ab 1398 diente es zusammen mit den Toren Aeschentor, Bläsitor, Riehentor, Spalentor, St.Johanntor und dem Steinentor als 3. Stadtbefestigung. Teile der Befestigungs-Stadtmauer und der Stadtgraben sind beim Letziturm am Rhein noch vorhanden. Am 18. Oktober 1356 wurde die Befestigungsanlage durch das grosse Erdbeben teilweise zerstört, aber zw. 1362 und 1374 ab dem 1. Stock wieder aufgebaut.

1473 erhielt das St. Albantor, ebnso wie die enderen Stadttore ein Vorwerk, da mit kriegerischen Auseinandersetzungen gerechnet wurde (Burgunderkriege). In der Zeit des "dreissigjährigen Krieges" (1618-1648) wurde vor dem Tor ein Bollwerk errichtet.