山西是人類和華夏文明發祥的最早起源地和中心區域之一。考古表明，遠古時代，山西南部是人類初曙的起源地。運城垣曲縣“世紀曙猿”化石的發現，把類人猿出現的時間向前推進了1000萬年。考古還表明：最早約在180萬年以前的舊石器時代早期，原始人群就在山西晉南地區繁衍生息，其中運城芮城縣西侯度文化遺址發現的火燒骨，把我國范圍內發現的人類用火歷史向前推進了100萬年；約在10～2萬年以前的舊石器時代中期，在山西汾河兩岸和大同、朔州一帶，已經出現了比較集中的原始人群和村落。進入新石器時代，約在7000年前的新石器時代中期，山西南部的農業、畜牧業和手工業已達到相當發達的水平；約在4500年前左右的新石器時代晚期，山西南部已經成為當時諸多邦國的中心。史傳“堯都平陽（今臨汾堯都區），舜都蒲坂（今運城永濟市西南），禹都安邑（今運城夏縣西北）”，記載的是新石器時代晚期中華民族最早的英雄們在汾河下游創業建都的歷史。今臨汾市堯都區南部有堯廟、東部有堯陵，運城市鹽湖區北中部有舜帝陵廟。《禹貢》載夏禹治水“導河積石，至于龍門”，龍門又叫禹門口，在今山西河津市西北和陜西韓城市東北一帶。近年來，對臨汾襄汾縣陶寺遺址新的發現和研究成果表明，這里是帝堯都城所在地，也是最早的中國所在區域。這使大致在距今4500年前后我國史前傳說的堯舜禹時代由傳說成為信史，中華5000年文明史由此得到證實。 

　　約公元前2070年，禹去世后，其子啟繼位，建立了中國歷史上第一個世襲的氏族奴隸制的夏王朝。它的建立標志著中國古代原始公社的解體和奴隸社會的開始，開啟了中華文明發展的新紀元。夏朝早期的統治中心在今山西晉南夏縣一帶，后隨著地域擴大，統治中心才轉入河南豫西一帶。今夏縣東下馮遺址是重要的夏墟。 

　　商朝時，山西南部在其“邦畿千里”之內，其余地方則散布著十幾個方國部落。今運城垣曲縣古城南關和夏縣東下馮等地發現有商代前期完整城址，以及運城平陸縣和長治長子縣等地出土的商代早期青銅重器，表明這里是商王朝的經略要地。 

　　西周初期大規模分封諸侯，山西中南部為十余個諸侯的領地，其中主要諸侯國是晉國。春秋時期，晉國發展強大，逐步兼并了周邊小國，成為春秋五霸之一。晉國極盛時期的疆域，大約包括今山西中南部、河北西南部、河南西北部和陜西東部，設置有50余縣，其中山西境內有10余縣。晉國前期國都在翼(今臨汾翼城縣東南),后期遷都于新田(今臨汾侯馬市)。晉國是郡縣制的起源地，后來秦將這種制度推廣向全國。在今臨汾曲沃縣建有晉國博物館，陳展著考古發掘的晉國“曲村——天馬遺址”的文化歷史；在今臨汾侯馬市建有晉國古都博物館，陳展著晉都新田考古發掘的文物及其文化歷史。 

　　公元前453年，晉國卿族趙、魏、韓三家三分晉國，史稱“三家分晉”。趙、魏、韓三分晉國，成為實際上的三家諸侯國。在山西，趙國轄中部、東北部、東南部少部，魏國轄西南部、東南部少部，韓國轄東南大部和西南少部。起初，趙國的都城在晉陽(今太原晉源區東北)，韓國的都城在平陽(今臨汾堯都區)，魏國的都城在安邑(今運城夏縣北)，后來隨著疆域的擴大移向河南、河北。公元前403年，東周天子正式承認趙、魏、韓三家為諸侯，中國歷史由此開始進入封建社會的戰國時期。齊、楚、燕、韓、趙、魏、秦為戰國七雄，山西分屬趙、魏、韓三國領地。 

　　公元前221年，秦統一六國后，定都咸陽（今陜西咸陽東北），建立了中央集權制度，地方實行郡縣制，把全國劃分為36郡，后又不斷增設到40余郡。今山西及周邊河北、內蒙一帶為河東、太原、上黨、雁門、代、云中6郡分轄，其中代、云中2郡治所不在山西，山西境內置有70余縣。漢代時基本沿襲秦代郡縣制，地方實行州郡縣制。西漢（都長安，今陜西西安西北）版圖極盛時，全國劃分為13州。今山西及周邊陜西、河北、內蒙一帶為并州、幽州、司隸州（京畿長安范圍）3州領屬，并歸太原、上黨、雁門、西河、代、河東6郡分轄，其中西河、代2郡治所不在山西，山西境內置有90余縣。東漢（都洛陽，今河南洛陽東）地方建制基本沿襲西漢。西漢末東漢時期，北方少數民族匈奴、羌、鮮卑逐步內遷進入山西，并發展強盛起來。到東漢中期，山西北部、中部、西部成為多民族聚居地區。 

　　魏晉南北朝初期的三國時期，今山西全境屬魏國（都洛陽，今河南洛陽東），境內匈奴人散居分布在并州茲氏(今呂梁汾陽市)、祁(今晉中祁縣)、蒲子(今臨汾隰縣)、新興(今忻州忻府區)、大陵(今呂梁文水縣)等地。此外，在山西境內今長治武鄉縣還居住著羯族，今忻州代縣和大同還居住著鮮卑族拓跋部。山西境內的三個少數民族與居住在陜、甘一帶的氐、羌族，史稱“五胡”。西晉（都洛陽，今河南洛陽東）末年，公元 304年匈奴酋長劉淵起兵左國城（今呂梁離石區）建國“漢”，不久遷都平陽(今臨汾堯都區)，建立北方第一個少數民族政權。隨后其子劉聰打下長安（今陜西西安西北）滅西晉，由此開始中國歷史上一百多年的“五胡十六國”割據一方的局面。“十六國”，包括前涼、后涼、南涼、西涼、北涼、前趙、后趙、前秦、后秦、西秦、前燕、后燕、南燕、北燕、夏國、成漢等。在此期間，山西境域為劉淵族侄劉曜創建的前趙（先都平陽、今臨汾堯都區，后遷都長安、今陜西西安西北）、羯族首領石勒創建的后趙（先都襄國、今河北邢臺，后遷鄴、今河北臨漳西南）、鮮卑族首領慕容皝創建的前燕（先都龍城、今遼寧朝陽，后遷都薊、今北京城西南，后再遷鄴、今河北臨漳縣西）、氐族首領苻洪創建的前秦（都長安，今陜西西安西北）、氐族貴族姚萇創建的后秦（都長安，今西安西北)、鮮卑族首領慕容泓創建的西燕（先都長安、今陜西西安西北，后遷都長子、今山西長治長子西）、鮮卑族首領慕容垂創建的后燕（先都中山、今河北定州，后遷都龍城、今遼寧朝陽）、匈奴部族首領赫連勃勃建立的夏國（都統萬城，今陜西靖邊縣東北）、鮮卑族首領拓跋珪創建的北魏（先都盛樂、今內蒙古和林格爾北，后遷都平成、今大同市）等國的領地。公元439年，北魏統一黃河流域，結束了北方四分五裂的局面。公元494年，北魏孝文帝把都城由平城遷到洛陽（今河南洛陽東）。公元534年，北魏分裂為東魏（都鄴，今河北臨漳縣西）、西魏（都長安，今陜西西安西北），山西絕大部分為東魏領地，南部余部為西魏領地。后來，北齊取代了東魏，北周取代了西魏。公元577年北周滅北齊，山西統一為北周領地。從劉淵起兵一直到北周滅北齊的270多年間，山西境內平陽（今臨汾堯都區）、平城（今大同市）、晉陽（今太原市晉源區東北）都是全國很重要的政治軍事中心。其中，平陽為“漢”國、前趙的都城，平城為北魏的都城，晉陽為東魏和北齊的“別都”“陪都”。 

　　隋朝建立和統一全國后，起初在地方取消了郡一級建制，在要沖諸州設總管府，以州刺史兼總管，統領鄰近數州。山西境內并、代、隰、朔4州設總管府。后來隋又改州為郡，地方實行郡縣兩級制，最多時全國置190郡。山西及周邊河北、內蒙一帶為太原、定襄、馬邑、雁門、婁煩、西河、離石、上黨、長平、臨汾、龍泉、文城、河東、正平14郡分轄，其中14郡治所均在山西，山西境內置有90余縣。隋代，曾于北魏時期興起于蒙古高原的突厥汗國其疆域已抵今山西與內蒙交界地帶，并數次入侵山西雁門關以北地區。