Według legendy Efez został założony przez Amazonki i nazwany na cześć królowej tego plemienia. Mówi się, że Karyjczycy i Lelegowie byli pierwszymi mieszkańcami miasta. Druga legenda głosi, że po upadku miasta Androklos, syn Kodrosa z Aten, odbudował je w miejscu wskazanym mu przez rybę i dzika.
W VII wieku p.n.e. region został spustoszony przez najazd Kimerów. Klęska lidyjskiego króla Krezusa z rąk Cyrusa, króla Persji, umożliwiła Persji posunięcie się na Efez. Miasta jońskie zbuntowały się przeciw Persji, ale Efez szybko odłączył się od pozostałych i dzięki temu uniknął zniszczenia.
W III wieku p.n.e. Aleksander Wielki próbował wyprzeć Persów z Azji Mniejszej. Rządy Aleksandra zapoczątkowały pięćdziesiąt lat pokoju. Gdy zmarł, Lizymach, który był jednym z dwunastu wodzów, którzy zostali władcami państw, postanowił rozwinąć miasto. Zbudował nowy port, wzniósł mury obronne i przeniósł całe miasto kilka mil na południowy zachód od pierwotnego położenia. Kiedy Efezjanie nie chcieli się wyprowadzić, Lizymach kazał zablokować system kanalizacyjny, aby podczas burzy doszło do zalania i aby domy stały się niezdatne do zamieszkania. W 281 r. p.n.e. miasto zostało ponownie założone i stało się jednym z najważniejszych portów handlowych na Morzu Śródziemnym.
W 129 r. p.n.e. Rzymianie skorzystali z zapisów testamentu króla Pergamonu, który przekazał prowincję Azję pod władzę Imperium Rzymskiego. W tym czasie Efez liczył ponad 200 000 obywateli i był jednym z największych miast świata.
W I wieku p.n.e. wysokie podatki nakładane przez Rzym skłoniły Mitrydatesa do rozpoczęcia buntu przeciwko władzy rzymskiej. Trzy lata później Sulla dokonał rzezi mieszkańców miasta i przywrócił je pod panowanie Rzymu.
To za panowania Augusta wzniesiono większość budynków, które podziwiamy dziś. Trzęsienie ziemi w I wieku n.e. doprowadziło do gruntownej odbudowy. Efez ponownie stał się bardzo ważnym centrum handlu i wymiany oraz czołowym ośrodkiem politycznym i intelektualnym.
Od I wieku n.e. Efez był odwiedzany przez chrześcijańskich uczniów próbujących szerzyć wiarę chrześcijańską. Efez był ważnym punktem łączącym wielu ludzi między Wschodem a Zachodem. Miał także wyjątkowo łagodny klimat, a miasto było centrum kultu Artemidy. Miasto, ze swoim wysoko rozwiniętym stylem życia, wysokim standardem życia, zróżnicowaną demografią i politeistyczną kulturą, byłoby idealnym miejscem do pracy nad nawracaniem.
Zarówno św. Jan, jak i św. Paweł przybyli do Efezu podczas swoich podróży. Św. Paweł popadł w konflikt z miejscowymi srebrnikami podczas swojej trzeciej wizyty w mieście. Rzemieślnicy sprowadzili tysiące Efezjan do teatru, gdzie Paweł głosił kazanie, aby wygwizdać i obrzuć kamieniami Apostoła. Paweł stanął przed sądem i został uwięziony, a następnie wypędzony z miasta.
Legenda głosi, że św. Jan Ewangelista również przybył do Efezu z Dziewicą Maryją pod swoją opieką. Podczas pobytu tam zbudował dla niej dom i niektórzy uważają, że to właśnie tam napisał swoją Ewangelię. W 269 r. n.e. Efez został splądrowany przez Gotów. Świątynia Artemidy została zniszczona. Świątynia została trwale zamknięta na mocy rozkazu cesarza Teodozjusza.
Osłonięty port leżący na środku szlaków handlowych Morza Egejskiego, w połączeniu z położeniem na lądzie na zachodnim krańcu wielkich lądowych szlaków handlowych, pomógł miastu prosperować. Jednak port, który początkowo przyniósł miastu taki sukces, był również istotnym czynnikiem jego przeniesienia, a ostatecznie porzucenia. W średniowieczu port wykazywał oznaki zaniedbania. Silnie zamulone wody spowodowały odcięcie od handlu, który pomagał miastu rozkwitać. Przyniosły też choroby malaryczne. W czasach bizantyjskich port byłby nieprzejezdny.
Nowe rozprzestrzenianie się chrześcijaństwa doprowadziło do porzucenia wszystkich budynków związanych z politeizmem. W mieście odbyły się dwa sobory powszechne, a od VI wieku Kościół św. Jana był ważnym miejscem pielgrzymek. Wkrótce potem Kościół Dziewicy i inne miejsca kultu zostały zniszczone w arabskich najazdach.
W VII wieku miasto przeniosło się na obszar zajmowany dziś przez miasto Selçuk. W okresie bizantyjskim Efez stopniowo rozwijał się wokół szczytu góry Ayasuluð. W średniowieczu miasto przestało funkcjonować jako port. Zostało opuszczone i ostatecznie zasypane przez naturalny krajobraz.
Na początku XX wieku archeolodzy poszukujący Świątyni Artemidy zaczęli odkopywać miasto. Kilka ważnych rzeźb i dzieł sztuki trafiło do Muzeum Londyńskiego lub Austriackiego Instytutu Archeologicznego. Wykopaliska trwają do dziś, a znaleziska są przenoszone do Muzeum Efezu niedaleko stanowiska.
Tak więc historia Efezu nie jest krótką historią.