Според легендата Ефес е основан от амазонките и е кръстен на тяхната царица. Смята се, че карийците и лелегите са били първите жители на града. Според втора легенда, след като градът паднал, Андрокъл, синът на атинянина Кодрус, го възстановил на място, посочено му от риба и глиган.
През VII век пр.н.е. регионът бил опустошен от нашествието на кимерийците. Поражението на лидийския цар Крез от Кир, царя на Персия, позволило на Персия да настъпи към Ефес. Йонийските градове се разбунтували срещу Персия, но Ефес бързо се отделил от останалите и така избегнал разрушението.
През III век пр.н.е. Александър Велики се опитал да прогони персите от Мала Азия. Управлението на Александър поставило началото на петдесет години мир. Когато той умрял, Лизимах, който бил един от дванадесетте генерали, станали владетели на държави, решил да развие града. Той построил ново пристанище, издигнал отбранителни стени и преместил целия град на няколко мили югозападно от първоначалното му местоположение. Когато ефесяните не пожелали да напуснат, Лизимах наредил канализационната система да бъде блокирана, така че по време на буря да се наводнява и къщите да станат необитаеми. През 281 г. пр.н.е. градът бил основан отново и станал едно от най-важните търговски пристанища в Средиземноморието.
През 129 г. пр.н.е. римляните се възползвали от условията на завещанието на царя на Пергам, който оставил провинция Азия да бъде управлявана от Римската империя. По това време Ефес имал над 200 000 жители и бил един от най-големите градове в света.
През I век пр.н.е. тежките данъци от Рим накарали Митридат да започне бунт срещу римската власт. Три години по-късно Сула организирал клане в града и го върнал под римско управление.
Именно от управлението на Август нататък били построени повечето от сградите, на които се възхищаваме днес. Земетресение през I век сл.н.е. довело до мащабно възстановяване. Ефес отново станал много важен център на търговията и стокообмена, както и водещ политически и интелектуален център.
От I век сл.н.е. нататък Ефес бил посещаван от християнски ученици, които се опитвали да разпространяват християнската вяра. Ефес бил важно място, което помагало за свързването на много хора от Изтока и Запада. Градът също така имал изключително благоприятен климат и бил център на култа към Артемида. Със своя високоразвит начин на живот, висок стандарт на живот, разнообразна демография и политеистична култура градът би бил идеално място за християните да работят за покръстването на населението.
И свети Йоан, и свети Павел дошли в Ефес по време на своите пътувания. При третото си посещение в града свети Павел влязъл в конфликт с местните среброделци. Занаятчиите довели хиляди ефесяни в театъра, където Павел проповядвал, за да освиркват и замерят с камъни апостола. Павел бил съден и хвърлен в затвора, преди да бъде принуден да напусне града.
Според легендата свети Йоан Богослов също дошъл в Ефес, като се грижел за Дева Мария. По време на престоя си там той построил къща за нея и някои вярват, че именно там е написал своето Евангелие. През 269 г. сл.н.е. Ефес бил разграбен от готите. Храмът на Артемида бил разрушен. Храмовият път бил окончателно затворен по заповед на император Теодосий.
Защитеното пристанище в средата на търговските маршрути в Егейско море, съчетано със сухопътното местоположение в западния край на голям сухопътен търговски път, помогнало на града да процъфти. Пристанището обаче, което първоначално донесло на града такъв успех, било и основна причина за неговото преместване и последващо изоставяне. През Средновековието пристанището показвало признаци на занемаряване. Силно затлачените води причинили изолация от търговията, която била помогнала на града да процъфти. Те донесли и маларийни заболявания. Към византийската епоха пристанището вече било непроходимо.
Новото разпространение на християнството довело до изоставянето на всички сгради, свързани с политеизма. В града се състояли два Вселенски събора, а от VI век нататък църквата „Свети Йоан“ била важно място за поклонение. Малко след това църквата „Дева Мария“ и други места за богослужение били разрушени при арабски набези.
През VII век градът бил преместен в района, който днес заема град Селчук. По време на византийската епоха Ефес постепенно се разраснал около върха на планината Аясулудж. През Средновековието градът престанал да функционира като пристанище. Той бил изоставен и накрая погребан от природния ландшафт.
В началото на XX век археолозите, търсещи храма на Артемида, започнали да разкриват града. Няколко значими скулптури и произведения на изкуството били отнесени в Лондонския музей или в Австрийския археологически институт. Разкопките продължават и до днес, като артефактите се пренасят в Музея на Ефес, недалеч от мястото.
И така, историята на Ефес не е кратка.