Тайюань - древняя столица, построенная около 500 до н. э. и названная Циньян. Город был переименован в Тайюань при династии Цинь. Из этого города были родом некоторые из китайских императоров, самым известным из которых является Ли Шиминь из династии Тан.
Изначально Циньян был одним из стратегических центров древнего царства Чжао. После того, как в 221 году до н. э. царство Цинь завоевало царство Чжао, город стал резиденцией командующего округом Тайюань. Такой же статус был у этого места и при династии Хань.
В VI веке, будучи второй столицей государств Восточная Вэй и Северная Ци, город сильно вырос и стал крупным центром буддизма. В 562 был построен новый город, позднее - во время династии Тан (733 год) - он был присоединен к старому городу.
В городе несколько раз случались сильные наводнения: 453 до н. э., 969, он был разрушен во время войны в 1125 году.
Во время династии Мин (1568) была заново отстроена городская стена.
