Secondo la leggenda, Efeso fu fondata dalle Amazzoni e prese il nome dalla regina della tribù. Si dice che i Cari e i Lelegi siano stati i primi abitanti della città. Una seconda leggenda afferma che, dopo la caduta della città, Androclo, figlio di Codro di Atene, la ristabilì in una località indicatagli da un pesce e da un cinghiale.
Nel VII secolo a.C. la regione fu devastata dall'invasione cimmera. La sconfitta del re lidio Creso per mano di Ciro, re di Persia, permise alla Persia di avanzare su Efeso. Le città ioniche si ribellarono contro la Persia, ma Efeso si dissociò rapidamente dalle altre ed evitò così la distruzione.
Nel III secolo a.C. Alessandro Magno cercò di scacciare i Persiani dall'Asia Minore. Il dominio di Alessandro inaugurò cinquant'anni di pace. Alla sua morte, Lisimaco, che era stato uno dei dodici generali divenuti sovrani di uno stato, decise di sviluppare la città. Costruì un nuovo porto, eresse mura difensive e spostò l'intera città di alcune miglia a sud-ovest della sua posizione originaria. Quando gli Efesini non furono disposti ad andarsene, Lisimaco fece bloccare il sistema fognario in modo che si allagasse durante una tempesta e rendesse le case inabitabili. Nel 281 a.C. la città fu rifondata (di nuovo) e divenne uno dei più importanti porti commerciali del Mediterraneo.
Nel 129 a.C. i Romani approfittarono dei termini del testamento del re di Pergamo che lasciava la provincia d'Asia al dominio dell'Impero Romano. In quel periodo Efeso contava oltre 200.000 abitanti ed era una delle più grandi città del mondo.
Nel I secolo a.C., le pesanti tasse di Roma spinsero Mitridate ad avviare un ammutinamento contro l'autorità romana. Tre anni dopo Silla guidò un massacro della città e la riportò sotto il dominio romano.
Fu a partire dal regno di Augusto che la maggior parte degli edifici che ammiriamo oggi fu costruita. Un terremoto nel I secolo d.C. portò a una grande ricostruzione. Efeso tornò a essere un importantissimo centro di commercio e un importante centro politico e intellettuale.
Dal I secolo d.C. in poi, Efeso fu visitata da discepoli cristiani che cercavano di diffondere la fede cristiana. Efeso era un importante punto di collegamento tra molte persone tra Oriente e Occidente. Aveva anche un clima eccezionalmente gradevole e la città era il centro del culto di Artemide. La città, con il suo modo di vivere altamente sviluppato, il suo elevato tenore di vita, la sua composizione demografica variegata e la sua cultura politeista, sarebbe stata un luogo ideale per i cristiani per lavorare alla conversione.
Sia San Giovanni che San Paolo giunsero a Efeso durante i loro viaggi. San Paolo ebbe uno scontro con i mercanti d'argento locali durante la sua terza visita alla città. Gli artigiani portarono migliaia di Efesini al teatro dove Paolo stava predicando, per fischiare e lapidare l'Apostolo. Paolo fu processato e imprigionato prima di essere espulso dalla città.
La leggenda narra che anche San Giovanni Evangelista giunse a Efeso con la Vergine Maria affidata alle sue cure. Durante il suo soggiorno lì le costruì una casa e alcuni credono che sia qui che scrisse il suo Vangelo. Nel 269 d.C. Efeso fu saccheggiata dai Goti. Il tempio di Artemide fu distrutto. Il tempio fu chiuso definitivamente per ordine dell'imperatore Teodosio.
Il porto riparato, nel mezzo delle rotte commerciali dell'Egeo, unito alla posizione terrestre sul margine occidentale di grandi rotte commerciali via terra, aiutò la città a prosperare. Tuttavia, il porto che inizialmente portò alla città tanto successo fu anche una parte fondamentale del suo spostamento e del suo successivo abbandono. Nel Medioevo il porto mostrava segni di trascuratezza. Le acque fortemente insabbiate causarono l'isolamento dai commerci che avevano aiutato la città a fiorire. Portarono anche malattie malariche. Al tempo dell'era bizantina il porto sarebbe stato impraticabile.
La nuova diffusione del cristianesimo portò all'abbandono di tutti gli edifici con legami politeisti. Due Concili Ecumenici ebbero luogo nella città e, a partire dal VI secolo, la Chiesa di San Giovanni fu un importante luogo di pellegrinaggio. Poco dopo, la Chiesa della Vergine e altri luoghi di culto furono distrutti durante le incursioni arabe.
Nel VII secolo la città si spostò nell'area oggi occupata dalla città di Selçuk. Durante l'era bizantina Efeso crebbe gradualmente attorno alla cima del monte Ayasuluð. Durante il Medioevo la città cessò di funzionare come porto. Fu abbandonata e infine sepolta dal paesaggio naturale.
Nei primi anni del 1900 gli archeologi alla ricerca del Tempio di Artemide iniziarono a riportare alla luce la città. Diverse grandi sculture e opere d'arte furono portate al Museo di Londra o all'Istituto Archeologico Austriaco. Gli scavi continuano ancora oggi, con reperti trasferiti al Museo di Efeso non lontano dal sito.
Quindi la storia di Efeso non è una storia breve.