北、山西、陕西、甘肃北部一带），都曾饱受匈奴的侵扰杀掠之苦，连年不得安息。因无法阻挡匈奴的入侵，东汉政府曾于建武十五年（39年）徙雁门、代郡、上谷边民六万多人至居庸关（今北京昌平西北）、常山关（今河北涞源南）以东，以躲避匈奴。左部匈奴甚至进入塞内居住，朝廷深为忧患，只得增兵防范，但收效甚微。
公元48年（建武二十四年），匈奴内部发生重大变化，正式分裂为南北二部，匈奴与汉朝的关系也随之发生根本性转变。
早在呼韩邪单于北迁单于庭之后，在漠南地区就形成了一个以八部大人为中心的政治集团，后归右谷蠡王伊屠知牙师（《汉书》作伊屠智牙师）统率。知牙师是王昭君与呼韩邪之子，单于舆之弟，后晋升为左贤王。依单于继承惯例，知牙师当继舆为单于。东汉初年，单于舆与汉朝为敌，不愿意单于之位落入与汉有较深渊源的知牙师之手，欲传位于子，因此杀知牙师，立子为左贤王，漠南八部大人及乌桓均归右奥鞬日逐王比统辖。比见单于舆冤杀知牙师，口出怨言：“单于继位，以兄弟言之，右谷蠡王（指知牙师）当立；以子言之，我乃前单于（指乌珠留单于）长子，当立。”比心怀怨恨，同时惧怕被杀，因此很少参加龙庭会议。单于舆也察觉比有异志，于是遣两骨都侯至漠南，监护比所部兵。
建武二十二年（46年），单于舆死，子左贤王乌达鞮侯继立，不久亦死，弟左贤王蒲奴继位。其时匈奴因连年旱蝗成灾，赤地千里，草木尽枯，饥疫流行，人民牲畜大批死亡。蒲奴单于害怕汉乘其疲敝之时袭击，于是遣使至渔阳郡（治今北京密云西）请求和亲，试图缓和与汉的紧张关系，光武帝也遣中郎将李茂回报。乌桓见匈奴势衰，不愿再依服匈奴，于是出兵攻击匈奴，蒲奴单于不敌，率部众向北迁徙，对漠南实际上失去了控制。统率漠南的右奥鞬日逐王比见继单于之位无望，愈益愤恨，于是在建武二十三年（47年）密遣汉人郭衡奉匈奴地图至西河太守处请求内附。监护比部兵的两骨都侯发觉比有异志，遂于赴五月龙庭大会时密报单于，建议诛比。不意消息走露，比集合八部四五万人自卫，蒲奴单于发万骑攻之，见比兵力强盛，不敢进兵而还，双方关系彻底决裂。
建武二十四年（48年）正月，漠南八部大人共议立比为呼韩邪单于。以比祖父呼韩邪单于附汉得安，故而沿袭其号，以示与汉和好之意。比亲至五原塞外，表示要“永为蕃蔽，捍御北虏（指北匈奴）。”自东汉初年以来，匈奴连年入侵，朝廷穷于应付，耗费甚巨；而今匈奴分裂，南匈奴自愿为汉保卫边塞，于汉无疑是有利之举。当时朝内一些大臣不相信南匈奴附汉的诚意，坚持利用匈奴分裂之机出兵攻灭匈奴，光武帝为安境息民，决不允许挑起战端，于是采纳五官中郎将耿国的建议，应允了南匈奴通好的请求，从而确定下扶持南匈奴，抗击北匈奴的基本策略。事后汉匈关系的发展进程，证明了光武帝这一决策是正确的。
同年冬十月，在东汉政府的支持下，比自立为呼韩邪单于，即醢落尸逐鞮单于。从此，匈奴正式分为南北二部。由于南单于归附汉朝，北境再无侵扰之患；位于匈奴东北的乌桓、鲜卑，过去常追随匈奴入塞侵扰，见南匈奴附汉后，也遣使至洛阳朝贡，北境愈加平静。第二年春正月，南单于比为了扩展势力，同时也为争取朝廷更有力的支持，遣其弟左贤王莫率兵攻击北匈奴，大获全胜，俘掳万余人，马七千多匹。北单于蒲奴为避南匈奴兵锋，退却近千里。三月，南单于遣使至洛阳，请求朝廷派使者监护，愿遣侍子入朝，复修呼韩邪单于故约。建武二十六年（50年）春，光武帝遣中郎将段彬等使南匈奴，于五原（治今内蒙包头西）西部塞设南单于庭，始置“使匈奴中郎将”，率兵护卫南单于。同年秋天，南单于比遣子入侍，光武帝依诸侯王之制，授南单于比黄金质玺绶，另赐衣裳、冠带、车马、黄金、锦绣、缯布等财物珍宝，又从河东郡转输粮食二万五千多斛，牛羊三万六千多头赈济南匈奴部众。不久，因南单于与北匈奴交战不利，光武帝命将南单于庭徙至西河郡美稷（今内蒙准格尔西北），设置官府，命中郎将段彬等驻居西河郡，由西河长史率二千骑兵、弛刑（被赦免的囚徒）五百人，协助段彬等护卫南单于。随着北境战事的停止，东汉政府将以前因战乱内徙的边民迁回故地；同时，为了使南匈奴担负起护卫北境的任务，光武帝允许北地、朔方、五原、云中、定襄、雁门、代郡、上谷等八郡由南匈奴部众放牧居住，南匈奴诸部王也率领其部众协助诸郡县戍守，侦察北匈奴动静。嗣后，东汉政府几乎每年都要给予南匈奴巨大的财政支持。据袁宏《后汉纪？和帝纪》记载，用于南匈奴的费用每年竟高达钱一亿九千万之巨。
在东汉政府的全力支持下，南单于的统治趋于稳定，势力不断增强。在这种形势下，北单于十分惶恐，归还了一些以往被掠的汉民，以通善意；发兵击南匈奴时，骑兵每经过汉边塞亭障，总是声称是追击亡虏右奥鞬日逐王（指南单于比），决非敢侵犯汉民。确实，此时在漠北的北匈奴处境十分困难，南匈奴的自立不仅使其丧失了漠南一大片水草丰润的土地，经济上陷入窘境，势力大衰，而且还时常受到北面丁令、东面乌桓、鲜卑、南面南匈奴的夹击，迫使北匈奴的势力逐渐向西部转移，以加强对西域诸国的控制。为了摆脱困境，北匈奴于建武二十七年（51年）首次遣使至武威郡请求和亲。光武帝命群臣廷议，一时争论不休，皇太子（即明帝刘庄）认为南匈奴新附，如接纳北匈奴，恐南匈奴生疑，反生事端。光武帝采纳太子之议，命令武威太守拒绝其使。其后，建武二十八年、三十一年，北匈奴二次遣使入朝贡献，复请和亲，要求与汉互市。光武帝考虑到与南匈奴的友好关系，只是颇加赏赐，善言回报，不遣使者，拒议和亲与互市之事。
明帝即位之后，北匈奴因和亲与互市不成，发兵攻掠边塞，均被南匈奴与汉军击退。永平七年（64年），北匈奴似乎对和亲之事已经绝望，所以遣使入汉后，仅请求与汉互市。明帝不希望因拒绝互市而重起边衅，于是遣使回报，允许互市交易。互市虽然对匈奴与汉民均有益处，但汉与北匈奴通使，引起了南匈奴上层一些人的猜疑，须卜骨都侯等人准备借机叛乱，于是暗中与北匈奴联络，请求北匈奴出兵援助。这一图谋被朝廷及时发觉，于是在永平八年设置“度辽营”，以中郎将吴棠行度辽将军事，将兵屯于南单于庭西北的曼柏（今内蒙东胜东北），又调骑都尉秦彭将兵屯南单于庭，以防须卜骨都侯的叛众与北匈奴交通。同年秋天，北匈奴果然发兵二千骑，携带马革船，准备从朔方渡过黄河迎须卜骨都侯的叛众，因见汉军防范严密，无隙可乘，失望而归。迎叛不成，北匈奴单于蒲奴恼羞成怒，屡次发兵大肆攻掠诸边郡，焚烧城邑，杀掠吏民，河西郡县城门连白天也得紧闭设防。
北匈奴不断侵扰边郡，终于迫使明帝下决心进行反击。永平十五年（72年），奉车都尉窦固等将兵出屯凉州（治今甘肃张家川），预示着与北匈奴的最后决战即将爆发。
三、最后一战——金微山之战
在两汉之际的汉匈冲突中，匈奴铁骑频繁地出没于汉北境之上，几乎整个北境都受到程度不同的骚扰，西域也重入匈奴的彀中。然而，汉匈传统的战场——河西地区却保持着安宁的局势，这与割据河西，据境自保，被当地豪强推为行河西五郡大将军事的窦融有直接的关系。匈奴曾试图重占河西地区，均被窦融击退，此后不敢再染指河西。建武五年（29年），窦融归顺光武帝，被任为凉州牧，继续镇守河西，后虽奉调入朝，但河西大局已定，匈奴无隙可乘，光武帝得以集中兵力在北境抗御南侵之敌，无西顾之忧。但在公元48年之后，随匈奴的南北分裂，汉匈战争的态势发生重大变化。北匈奴南侵的路线被亲汉的南匈奴所阻断，其东北部又受到乌桓、鲜卑的压迫，被迫向匈奴右部转移，企图利用西域诸国的人力物力资源继续与汉为敌。在这种形势下，西域与河西地区所在的凉州及并州西部就成为汉匈交锋的主战场。或许是因为窦氏久在河西地区的缘故，东汉时二位与北匈奴作战的有名将领窦固、窦宪，都出于这个威名显赫的家族。
永平十五年，明帝决心出击北匈奴，遂命显亲侯窦固等大臣议击北匈奴事。谒者仆射耿秉认为，武帝时占据河西，分离羌、胡，西域内属，最终迫使匈奴归附。当前汉匈形势与武帝时期颇为相似，北匈奴之所以猖獗，是由于重占西域的缘故。因此，耿秉建议汉军先出击白山（天山山脉东端），攻占伊吾，击破车师，重新经营西域，以断匈奴右臂，然后可战胜北匈奴。明帝完全同意耿秉的见解，因窦固曾随伯父窦融在河西，明习边事，所以任命窦固为奉车都尉，骑都尉耿忠为副将；耿秉为驸马都尉，骑都尉秦彭为副将，率兵屯于凉州。
永平十六年春二月，汉发兵数万人，分兵四路，同出塞击北匈奴。窦固与耿忠出酒泉塞，与北匈奴呼衍王战于天山，斩首千余级，追击至蒲类海，攻占伊吾城，留守一些士卒屯田后班师回塞内。其余三路汉军因北匈奴闻风而逃，均无功而返。正是在此次战役中，窦固发现假司马班超颇具军事才能，遂命其率三十六名随员出使西域。从此，班超开始了经营西域漫长而又艰苦的历程。十七年冬，窦固等率一万四千骑出敦煌昆仑塞（今甘肃安西），于蒲类海大败北匈奴白山部，乘胜攻占车师前后国，复置西域都护与戊己校尉，恢复了汉在西域中断近六十余年的统治。十八年春，窦固奉诏罢兵，回到京师洛阳。就在窦固大军离开西域之后，北单于蒲奴