Volgens de legende werd Efeze gesticht door de Amazones en genoemd naar de koningin van de stam. Men zegt dat de Cariërs en Lelegiërs de eerste inwoners van de stad waren. Een tweede legende beweert dat Androclus, de zoon van Codrus uit Athene, de stad opnieuw stichtte op een locatie die hem werd getoond door een vis en een everzwijn, nadat de stad was gevallen.
In de 7e eeuw v.Chr. werd de regio verwoest door een invasie van de Cimmeriërs. De nederlaag van de Lydische koning Croesus tegen Cyrus, de koning van Perzië, stelde Perzië in staat op te rukken naar Efeze. De Ionische steden kwamen in opstand tegen Perzië, maar Efeze distantieerde zich snel van de andere steden en ontliep daardoor verwoesting.
In de 3e eeuw v.Chr. probeerde Alexander de Grote de Perzen uit Klein-Azië te verdrijven. De heerschappij van Alexander luidde vijftig jaar vrede in. Toen hij stierf, besloot Lysimachus, die een van de twaalf generaals was geworden die heerser over een staat werden, de stad te ontwikkelen. Hij legde een nieuwe haven aan, bouwde verdedigingsmuren en verplaatste de hele stad enkele kilometers ten zuidwesten van haar oorspronkelijke locatie. Toen de Efeziërs niet bereid waren te vertrekken, liet Lysimachus het rioleringssysteem blokkeren, zodat het tijdens een storm zou overstromen en de huizen onbewoonbaar zou maken. In 281 v.Chr. werd de stad opnieuw gesticht en werd ze een van de belangrijkste handelshavens in de Middellandse Zee.
In 129 v.Chr. maakten de Romeinen gebruik van de bepalingen in het testament van de koning van Pergamon, waarin de provincie Asia aan het Romeinse Rijk werd nagelaten. In die tijd had Efeze meer dan 200.000 inwoners en was het een van de grootste steden ter wereld.
In de 1e eeuw v.Chr. brachten zware belastingen van Rome Mithridates ertoe een opstand tegen het Romeinse gezag te beginnen. Drie jaar later leidde Sulla een bloedbad in de stad en bracht hij haar weer onder Romeinse heerschappij.
Vanaf de regering van Augustus werden de meeste gebouwen die we vandaag bewonderen gebouwd. Een aardbeving in de 1e eeuw n.Chr. leidde tot een grootschalige wederopbouw. Efeze werd opnieuw een zeer belangrijk centrum van handel en commercie, evenals een toonaangevend politiek en intellectueel centrum.
Vanaf de 1e eeuw n.Chr. werd Efeze bezocht door christelijke discipelen die het christelijke geloof probeerden te verspreiden. Efeze was een belangrijk punt dat veel mensen uit Oost en West met elkaar hielp verbinden. De stad had ook een uitzonderlijk aangenaam klimaat en was het centrum van de cultus van Artemis. De stad, met haar zeer geavanceerde levenswijze, hoge levensstandaard, gevarieerde demografie en polytheïstische cultuur, zou een ideale plek zijn geweest voor de christenen om aan bekering te werken.
Zowel de heilige Johannes als de heilige Paulus kwamen tijdens hun reizen naar Efeze. De heilige Paulus kwam tijdens zijn derde bezoek aan de stad in conflict met plaatselijke zilversmeden. De ambachtslieden brachten duizenden Efeziërs naar het theater waar Paulus predikte, om de apostel uit te jouwen en te stenigen. Paulus werd berecht en gevangengezet voordat hij uit de stad werd verdreven.
Volgens de legende kwam ook de evangelist Johannes naar Efeze, met de Maagd Maria onder zijn hoede. Tijdens zijn verblijf daar bouwde hij een huis voor haar en sommigen geloven dat hij daar zijn Evangelie schreef. In 269 n.Chr. werd Efeze geplunderd door de Goten. De tempel van Artemis werd verwoest. De tempelweg werd op bevel van keizer Theodosius voorgoed gesloten.
De beschutte haven midden in de handelsroutes van de Egeïsche Zee, gecombineerd met de ligging aan de westelijke rand van een groot netwerk van landhandelsroutes, hielp de stad floreren. De haven die de stad aanvankelijk zoveel succes bracht, was echter ook een belangrijke reden dat de stad werd verplaatst en uiteindelijk verlaten. Tegen de middeleeuwen vertoonde de haven tekenen van verwaarlozing. Het sterk dichtgeslibde water zorgde voor isolatie van de handel die de stad had helpen bloeien. Het bracht ook malaria met zich mee. Tegen de tijd van het Byzantijnse tijdperk zou de haven onbegaanbaar zijn geweest.
De verdere verspreiding van het christendom leidde tot het verlaten van alle gebouwen met polytheïstische connecties. In de stad vonden twee oecumenische concilies plaats en vanaf de 6e eeuw was de kerk van de heilige Johannes een belangrijke pelgrimsplaats. Kort daarna werden de kerk van de Maagd en andere gebedshuizen verwoest tijdens Arabische invallen.
In de 7e eeuw verhuisde de stad naar het gebied dat nu wordt ingenomen door de stad Selçuk. Tijdens het Byzantijnse tijdperk groeide Efeze geleidelijk rond de top van de berg Ayasuluð. In de middeleeuwen hield de stad op als haven te functioneren. Ze werd verlaten en uiteindelijk door het natuurlijke landschap bedolven.
In het begin van de jaren 1900 begonnen archeologen die op zoek waren naar de tempel van Artemis de stad bloot te leggen. Verschillende belangrijke beeldhouwwerken en kunstwerken werden naar het Londense Museum of het Oostenrijkse Archeologische Instituut gebracht. De opgravingen gaan tot op de dag van vandaag door, waarbij artefacten naar het Museum van Efeze worden gebracht, niet ver van de vindplaats.
De geschiedenis van Efeze is dus geen korte geschiedenis.