因阿尔泰山而得名，曾称金微山和金山。阿尔泰系蒙古语和突厥语，意为阿勒泰风光3“金子”，因此山产金，故名。 　　

　　从汉代起，先后为塞种、匈奴、鲜卑、柔然、突厥等的游牧地。唐代归安西都护府管辖，后改隶于北庭都护府。元代先为别失八里行尚书省，后为岭北行省辖地。明及清初为蒙古瓦剌部（后称卫拉特）的游牧地。清代又有哈萨克克烈、乃蛮、乌孙等部落迁居此地。清乾隆二十八年（1763年）为科布多参赞大臣辖地。同治十三年（1874年），清政府在克兰河畔修建喇嘛庙“承化寺”，翌年即光绪元年，庙宇竣工，始有固定居民。地名亦称作承化寺，为阿勒泰地区之雏形。光绪三十二年（1906年），科布多与阿尔泰分治，另设阿尔泰办事大臣，驻承化寺。 　

　　民国元年（1912年）为阿尔泰办事长官治所，成为阿尔泰地区政治的中心。民国八年（1919年）撤阿尔泰办事长官，置阿山道；由中央政府直属改由新疆省管辖。民国十年（1921年）置承化县，先后隶属阿山道、阿山行政区、阿山专区。1953年改为阿泰县。1954年，改阿山专区为阿勒泰专区；改阿泰县为阿勒泰县，属阿勒泰专区。1970年后隶属阿勒泰地区。1984年11月17日，国务院批准撤销阿勒泰县，设立阿勒泰市。

　　元代为蒙古诸王封地。明代属杜尔伯特部的牧地。清代归科布多参赞大臣管辖，清光绪三十二年（1906年）设阿尔泰办事大臣。民国二年（1913年）设承化县佐，属阿山特别行政区管辖。民国八年（1919年）划归新疆省阿山道管辖。民国十年（1921年）设承化县。1953年改称阿泰县。1954年改名为阿勒泰县。为地区行政公署所在地。 　　

　　2000年，阿勒泰市辖3个街道、2个镇、9个乡。　根据第五次人口普查数据：全市总人口178510人，其中：金山路街道 26172人、解放路街道 18840人、团结路街道 12606人、北屯镇 28553人、阿苇滩镇 10319人、红墩乡 13059人、切木尔切克乡 12937人、阿拉哈克乡 9127人、汗德尕特蒙古族乡 3719人、拉斯特乡 4814人、喀拉希力克乡 4871人、萨尔胡松乡 4975人、巴里巴盖乡 4197人、切尔克齐乡 4501人、喀拉尕什牧场虚拟乡 3529人、阿克吐木斯克牧场虚拟乡 4359人、兵团一八一团虚拟乡 11632人、兵团塔尔浪云母一矿虚拟乡 300人。