Окрестности современного Лояна были заселены в глубокой древности. В 2070 до н. э. правитель династии Ся Тай Кан переместил столицу к месту, где в реку Лохэ впадает река Ихэ, город был назван Чжэньсюнь. В XVI век до н. э. шанский правитель Тан, победив Ся, основал свою столицу Хао в местности, соответствующей Шисянгоу в уезде Яньши.
Город построил Чжоу-гун - основатель династии Чжоу в XI веке до н. э.. Город заселила аристократия прежней династии Шан, и город был назван Чэнду. С 770 до н. э. город стал императорской столицей Чжоу. В 510 до н. э. город был разрушен в междоусобицах, но за год отстроен заново по повелению императора.
В 25 н. э. Лоян стал столицей восстановленой Восточной династии Хань, город был также столицей династий Вэй и Цзинь (265-420). Династия Цзинь пала под натиском варваров, город был почти полностью разрушен, а столица перенесена в Нанкин.
В 68 году в городе был основан Храм Белой Лошади - первый буддийский храм в Китае. Храм сохранился до сих пор, однако в 1500 он был полностью перестроен. Первым монахом, проповедавшим буддизм в Лояне, был Ань Шикао.
В 190 году во время жестокой междоусобной войны войска канцлера Дун Чжо заняли город, который был ими разграблен и разрушен, аристократия бежала в Чанъань, собирая ополчение против Дун Чжо.
В 493 году император династии Северная Вэй снова перенёс столицу в Лоян. Тогда был построены знаменитые Пещеры Лунмэнь. В этих пещерах помещалось более 30 тысяч статуй Будды.
