Axeltorv har en noget broget historie, der på sin vis går helt tilbage til 1600-tallet. Fredericia blev som bekendt grundlagt i 1650, men allerede under Svenskekrigene 1657-1660 fuldstændigt ødelagt. Herefter blev byen genopbygget, og som et led i denne genopbygning tildelte kong Frederik 3. i 1661 Fredericia to ugentlige torvedage og tre årlige markeder. I 1682 opnåede Fredericia desuden ret til to årlige hestemarkeder. Kongens gode hensigter om at fremme handlen i den nye by havde dog store udfordringer, for i 1600-tallet var der ikke blevet opført en egentligt torveplads. Når man ser på de oprindelige kort over Fredericia fra 1600-tallet, kan man se et område, der var udset til torv med navnet Kongens Torv. Det lå mellem Købmagergade og Dalegade, hvor Axeltorv findes i dag. Det var dog et frygteligt sumpet og fugtigt område. På de gamle kort kan man også se en række kanaler, der skulle gå op i byen langs dette område. Disse kanaler skulle blandt andet have fungeret som dræn for området.
Kanalerne blev dog af forskellige økonomiske årsager aldrig opført. Derfor begyndte man i 1691 at fylde området ved Kongens Torv op med jord, og der blev gravet grøfter omkring torvet, men på grund af den megen fugt i området indså man, at det ville have lange udsigter med at gøre pladsen klar til markedsbrug. Byens styre havde derfor den udfordring, at man skulle finde en midlertidig placering til torvehandel. I 1694 tillod magistraten derfor, at der kunne sælges varer på en midlertidig torveplads i gadekrydset Danmarksgade-Prinsessegade.
I 1700-tallet blev området ved Kongens Torv mest brugt af byens militære garnison til eksercits. Her kunne soldaterne få lov til at træne i det sumpede område, mens byen måtte klare sig med den midlertidige torveplads. Omkring 1750 forsøgte byen igen at tilføre adskillige hundrede læs sand for at forbedre pladsens tilstand, men stadig uden held. Området var stadig for fugtigt til en torveplads. Den midlertidige løsning med torvehandel i krydset Danmarksgade-Prinsessegade kom derfor til at vare ca. 200 år.
I 1861 besluttede man at anvende en del af Kongens Torv til kreaturtorv. Endelig i 1894 besluttede Fredericias byråd, på trods af protester fra Handelsforeningen, at nu skulle torvehandelen flyttes til Kongens Torv. I denne forbindelse blev torvet omdøbt til Axeltorv. Det var et ganske almindeligt navn til byers torve, der skulle antyde, at der her var tale om et torv, hvor varerne blev kørt ind på hjulaksler, det vil sige på vogn. Byrådet iværksatte nu endelig en effektiv dræning og torvets opfyldning med jord blev gennemført, pladsen blev brolagt, og der blev opstillet belysning. Sagen endte således med, at med mere end 200 års forsinkelse blev den første egentlige torvedag på det ny anlagte Axeltorv holdt den 12. november 1896, hvor der samtidig blev holdt officiel indvielse.
På de to ugentlige markedsdage i Fredericia blev der først og fremmest handlet med produkter, der var fremstillet lokalt. Ved det store årlige novembermarked havde handelen dog et helt andet omfang, hvor der også var underholdning og musik. Novembermarkedet fyldte godt i byen. Strækningen fra Vendersgade til Købmagergade og de nordgående gader var fyldt af boder og telte.
Omkring Axeltorv voksede store bygninger og erhverv snart frem. Wilhelm Gjedde Madsen opførte Gjeddesborg i 1904, mens genboejendommen Dalsborg blev opført i 1905. Omkring samme tid blev den lange bygning langs torvet, der kaldes for Axelhus, også opført i etaper. I 1907 blev Axeltorvs Apotek desuden oprettet ved privilegium af 26. september 1907 til H.I.J. Svendsen. Han opførte derpå ejendommen på sydvesthjørnet af Købmagergade og Jyllandsgade, og Axeltorvs Apotek åbnede den 23. oktober 1908. Det var en streg i regningen for Gjedde Madsen, der havde regnet med, at apoteket skulle have været i Gjeddesborg, i hjørnebutikken med de to kæmper, der bærer tårnet. Nu er området omkring Axeltorv fyldt med forskellige detaljer. Denne tidlige historie om Axeltorv er blot endnu et eksempel på, at områder, pladser og bygninger har en righoldig historie, som konstant ændrer sig, men kulturhistorien bliver.
