据考古资料和文献记载，距今两万三千年前的旧石器时代，境内已有人类活动，远古时为西戎地，周至秦为西羌地，汉初为匈奴和羌人活动区域。　　 　
　　汉平帝元始四年（公元?4年）冬，王莽置西海郡，今海西东部属之；西部属诺羌国。更始元年（公元23年）废西海郡，复为羌地。　　 　　
　　东晋十六国时，州境东部为先卑乙弗部（亦称“乙弗勿帝国”）辖地，西部为吐谷浑辖地，约至北魏太武帝神鹿年间州境全为吐谷浑国属地。南北朝的宋元嘉二十九年（公元452年），吐谷浑首领拾寅在白兰（今都兰县诺木洪一带）建立城廓，成为吐谷浑国中心。　 　　
　　隋大业五年（公元609）左右，隋军击败吐谷浑，在其地设立四郡，今海西东部属西海郡，西部属鄯善郡。隋末，吐谷浑复据故地。　　　　
　　唐贞观十年（公元636年）左右，吐谷浑成为唐属国。唐龙朔三年（公元663年），吐蕃攻灭吐谷浑国据有其地，海西隶于吐蕃腊城节度使。　　　
　　宋朝时，海西西北部为撒里畏兀儿（即黄头回纥）地，其余地为吐蕃角厮罗势力范围。 
　　蒙古太宗元年（公元1229年）时，今海西属窝阔台汗之次子阔端领地范围。宪宗三年（公元1253年），蒙哥汗在河州置吐蕃等处宣慰使司都元帅府，今海西东部属其辖地，元中统二年（公元1261年）设甘肃行省，今海西成为忽必烈之七子西平王奥鲁赤的封地范围。　　 　　
　　元末顺帝时，在今海西西部设曲先答林元帅府，封卜烟帖木尔为宁王，镇守其地。　 　　
　　明朝于洪武六年（公元1373年），设朵甘卫，次年升为朵甘行都指挥使司，海西东部属其管辖；明洪武八年（公元1375年）至三十年（公元1379年）间，在今海西东北至西部相继设立安定、阿端、曲先、罕东四卫，由西宁卫兼管。　 　
　　明正德七年（公元1512年）左右，漠南蒙古土默特部进据海西驻牧，四卫遂之散亡。明崇祯七年（公元1634年），漠北蒙古路喀尔喀部进据海西。　 　　
　　明崇祯十年（公元1637 rh ），顾实汗率和硕特部进入青海，海西成为其部属的游牧地。　 　
　　清雍正三年（公元1725年），清廷编定青海蒙古左右两翼盟29旗，今海西州境内有9个蒙古旗，统归于“钦差办理青海蒙古番子事务大臣”管辖。　　 　  
　　清隆二十二年（公元1757年），班禅喇嘛驻牧地向南移往巴彦托辉和岳霍洛依地方（即今都兰县香日德和香加一带），逐渐形成了班禅香家旗。　　 　　
　　清咸丰八年（公元1858年）后，黄河南汪什代海千户部落渐迁入布哈河流域（今天峻县境内）驻牧，当地蒙古簇北前旗（布哈公旗）向北迁入祁连。　 　　
　　清光绪年间（公元1875-1908年），沟里，日安两个藏族百户部落迁入今都兰县境内。  
　　民国元年（公元1912年）7月，海西地区隶属于青海办事长官，民国4年（公元1915年）隶属于甘边宁海镇守使兼管。民国6年（公元1917年）秋，设都兰理事于都兰寺，今海西属其管辖，隶属于甘边宁海镇守使。民国19年（公元1932年）县治迁至希里沟。县境四至为：东至克拉牙壑与湟源县分界，南以鄂敦他拉（星宿海）与玉树县分界，西至噶顺口及勒斜尔乌兰达布逊山脉与新疆为界，北以祁连山与甘肃省分界。　 　　
　　民国24年（公元1935年）始，哈萨克族迁入海西。 　　
　　民国27年（公元1938年），设立青海省第八行政督察区，始驻夏日哈，后迁驻察汗乌苏，到民国30年（公元1941年）改称青海省第一行政督察区，都兰县属其管辖。1946年前后撤销行政督察区，直隶青海省。　　 　　
　　1949年9月上旬，都兰县各族代表到西宁向青海省军政委员会、军管会致敬，请求解放都兰地区；9月26日省军政委员会决定成立都兰县人民政府，10月初省军政委员会下达都兰县人民政府科长以上领导干部任命文件，11月初都兰县人民政府组成人员从西宁到达希里沟，并布告都兰县人民政府成立，直属青海省，12月迁驻察汗乌苏。　 　
　　1952年9月26日，撤销都兰县，设立县级都兰蒙、藏、哈萨克族自治区。1953年2月，青海省人民政府、省政协委员会联席扩大会议决定，8月8日经中央人民政府政务院批准设立专区级都兰蒙藏哈萨克族联合自治区，9月30日政务院批复定名为海西蒙藏哈萨克族自治区；1954?年1月25日，成立专区级海西蒙、藏、哈萨克族自治州。　　 　　
　　1955年5月28日，为了开发柴达木盆地，中共中央决定设立专区级青海省柴达木盆地工作委员会，7月30日在格尔木正式成立，1956年2月更名为柴达木盆地工作委员会，作为省人委派出机构，3月治所迁至大柴旦。1957年4月3 日国务院批准撤销柴达木盆地工作委员会，设立柴达木盆地行政委员会，作为省人委派出机构，1958年1月4日国务院批准更名为柴达木行政委员会。　 　　   
　　1959年1月，海西州人委由察汗乌苏迁驻柴旦，与柴达木行政委员会合署办公，一套人马两块牌子。10月31日国务院复文批准合署。　　　
　　1963年8月26日，国务院批准撤销柴达木行政委员会，该行政区域全称为“海西蒙古族藏族哈萨克族自治州”。11月8日国务院批准自治州人民委员会驻地迁至德令哈，1966年4月，州府迁驻德令哈。　 　
　　1984年5月哈萨克族全部迁返新疆后，于1985年5月21日经国务院批准更名为“海西蒙古族藏族自治州”。