Изначально Олимпия – поселение в греческой области Элида, расположенной в северо-западной части Пелопоннеса, в долине между рекой Алфей и ее притоком Кладеон. Древнейшие поселения на этой территории относятся к неолиту. В микенскую эпоху здесь господствовало племя писатов. Первоначальное святилище в Олимпии находилось у подножия холма, который позже был назван Кронион, и было посвящено богине земли Гее. Общее почитание в тех местах богини плодородия позже было связано с культами Геры, Деметры и Гипподамии, в то время как муж сей богини впоследствии отождествлялся с Зевсом, Гераклом Ахейским и Пелопсом.

Когда вместе с дорийцами в эту местность пришли эолийцы (XII век до н. э.), им удалось достаточно быстро подчинить себе плодородную равнину. Олимпия вошла во владения полиса Илида в VII в. до н. э., и элейцы установили в ней прочный культ Зевса, в который влились остальные местные культы.

Кто основал в Олимпии Олимпийские игры, неясно. В мифах есть по крайней мере три разные версии, среди которых преобладает следующая: Игры основал Пелопс, который победил в состязаниях колесниц царя писов Эномая. Очевидно, что состязания в Олимпии проводились и раньше VIII в. до н. э., но традиционная дата первой Олимпиады – 776 год до нашей эры. В VII-VI веке происходили длительные столкновения между элейцами и писатами за право проведения Игр, победу в этой борьбе в конце концов одержали элейцы. К той же эпохе относится введение Олимпийского перемирия, на период которого все войны между греческими полисами прекращались.

VI-V века стало временем наибольшего расцвета Игр. К V веку относится знаменитая статуя Зевса работы Фидия, а также дошедший до нас фриз Храма Зевса, многочисленные постройки. После этого времени начался постепенный закат. Игры постепенно теряли религиозный характер и становились чистым спортом, перестали быть редкостью подкуп судей и прочая коррупция.

Римский диктатор Сулла в 80 г. до н.э. увез всех атлетов к себе в Рим, чтобы они украсили один из его триумфов. Калигула собирался перевезти статую Зевса, одно из семи чудес света, в Рим, но статуя так страшно рассмеялась, что посланцы Калигулы бежали не солоно хлебавши. Нерон организовал для себя Олимпиаду на третьем году цикла (67 год н.э) и несмотря на то, что не финишировал вообще, был увенчан лавровым венком как победитель состязаний колесниц. В эпоху Адриана и, позднее, в короткое правление Юлиана Отступника, предпринимались попытки оживить древние игры, но безрезультатно. Христианский император Римской империи Феодосий запретил проведение Олимпийских игр в 394 году, прервав более чем тысячелетнюю традицию.

Храм Зевса был сожжен в 426 году по приказу Феодосия Второго, а разрушен окончательно землетрясениями 522 и 551 годов и разливами Алфея. Византийцы жили в этой местности до IX века нашей эры, причем с VII-VIII веков основным населением местности были пришлые славянские племена. Достаточно сказать, что в средневековье место, где была раньше древняя Олимпия, называлось Сербия. Археологические раскопки начались в 1870-е годы, этот многолетний труд осуществляли германские археологи. С перерывом на Вторую мировую войну раскопки продолжаются до настоящего времени.