按八路军总部的计划，这一战役的目标是“较长期切断”正太线，“基本是以截断该线交通为目的”（7月22日命令）；“彻底毁灭”正太线和同蒲线忻县至朔县段，使晋东南、晋察冀、晋西北和陕甘宁边区大后方完全“联成一片”（8月31日命令）。而要实现上述目标，仅靠22个团是达不到的，这就使得后来实际参战兵力达到了105个团20多万人（包括第120师28个团，第129师41个团和晋察冀军区36个团）。
8月20日20时整，在没有得到中共中央军委正式批准的情况下，随着彭德怀一声令下，在5000里长的敌后战场上八路军全线出击，向华北主要交通线的破击战开始了。
百团大战——对日军的“挖心战”破袭正太路
当时华北有正太线、同蒲线、平汉线、津蒲线、平绥线、北宁线和胶济线七条铁路干线，其中正太线处于中心位置，它连接平汉、同蒲两铁路，是贯通山西、河北的交通命脉。在这条全长200多公里的铁路线上，有天险娘子关和日军在华北的重要燃料基地阳泉、井陉煤矿。如果正太线中断，山西境内日军的给养补充和外运掠夺的战略物资将发生极大困难。同时它还是日军实施“囚笼政策”的重要支柱之一。日军妄称正太铁路沿线是“不可接近”的地区，用它隔绝太行抗日根据地与晋察冀边区的联系，并以它为依托进攻抗日根据地，可以说，正太线是我必攻、敌必守的重要交通线。
百团大战的第一阶段（8月20日至9月10日），八路军在正太、同蒲、平汉、津浦等主要交通线发动总攻击，重点破袭正太路。
聂荣臻的晋察冀军区负责破袭正太路东段。8月20日夜，晋察冀军区以18个步兵团、1个骑兵团又2个骑兵营、5个游击支队，在部分炮兵和工兵配合下，组成左、中、右3个纵队，分别向日军独立混成第8旅大部和独立混成第4旅一部展开攻击。经过三小时反复冲杀，右纵队攻入晋冀交界的要隘娘子关，这是正太线最早攻克的重要战略据点。攻击井陉煤矿的中央纵队一部，在矿工支援下，破坏了煤矿的主要设施，迫使其停产达半年之久。23日，因石家庄方向的日军西援，加上连日降雨，河水泛滥，严重妨碍作战行动，晋察冀军区部队遂转移兵力，实施对铁路、桥梁、隧道的全面破击。
在井陉煤矿战斗中，八路军战士从战火中救出两个日本小女孩，大的叫美穗子。聂荣臻指示由专人照顾，并随后将其送还陵城日军据点。聂荣臻还给日本官兵写了一封信，信中说：“日阀横暴，侵我中华，战争延绵于兹四年矣。中日两国人民死伤残废者不知凡几，辗转流离者，又不知凡几。此种惨痛事件，其责任应完全由日阀负之”。40年之后，年逾80的聂荣臻元帅还常常挂念着那两个孩子，1980年5月29日，《人民日报》发表了姚远方的文章《日本小姑娘，你在哪里呢？》并配发了当年的几幅照片，在中国和日本引起了很大轰动。
负责破袭正太路西段的第129师，与日军展开了更激烈的战斗。第129师把主要打击力量预伏在狮垴山一线。狮垴山虎踞阳泉大门，从石家庄往西直到阳泉，地形较为平缓，偶有高山。一过阳泉，则山势连绵，正太路从这里进入山区，狮垴山正是这一入口的咽喉。敌在阳泉的第4独立混成旅团部已得到了八路军在该地集结的消息，但很大意，未做任何准备。当晚，第385旅突然袭击阳泉市区，日军第4独立混成旅团长片山省太郎中将大为惊恐。此时，他手里能用于保卫阳泉的兵力加上伪军和非战斗人员也只有700多人，与八路军的进攻兵力对比太悬殊。片山组织仅有的一点部队向狮垴山反击，作生死一搏，经四天激战没有成功，居住阳泉的日侨，已有人因绝望而换上了赴死的装束。到8月25日，正太路西段除寿阳等少数据点外，均为第129师所控制。刘伯承、邓小平利用这一机会，下令部队抓紧破路，提出“不留一根铁轨，不留一根枕木，不留一个车站，不留一个碉堡，不留一座桥梁，不留一根电杆”，动员组织民众，争取铁路员工，采取搬拆、爆破、火烧、水淹等方法，大力破坏铁路、车站及其附属设施。一条被日军视为命脉的“钢铁封锁线”就这样瘫痪了。
根据八路军总部的整体部署，第120师的任务是配合正太线的破袭作战，破袭同蒲线大同至阳曲段、汾（阳）离（石）公路和忻（县）静（乐）公路，重点在阳曲南北，阻敌增援正太线。第120师以20个团的兵力破击同蒲铁路北段和铁路以西一些主要公路，并攻占阳方口、康家会、丰润村等据点，歼日伪军800余人，切断了同蒲铁路北段和忻县至静乐、汾阳至离石等公路。
为配合正太铁路和同蒲铁路北段的破击战，第129师和晋察冀军区还令所属部队出动50多个团的兵力，在游击队和民兵的配合下，对平汉、平绥（今北京…包头）、北宁、同蒲（南段）、白晋（白圭…晋城）、津浦、德石等铁路线和一些主要公路，以及日军占领的许多据点，进行了广泛的破击和袭击，扩展到除山东以外的整个华北地区和主要交通线。在5000里敌后抗日战场上，105个团，20余万人一起奋战，构成了中国抗日战争史上的宏伟景观。
至9月10日，正太路已全部陷入瘫痪，我军预期的作战目的已基本实现，八路军总部下令结束第一阶段作战。第一阶段作战，由于八路军突然而猛烈地破击日军占领的交通命脉，使日军联络中断；到处被动挨打；陷入一片慌乱之中。汉奸、伪军更是惶恐不安。沦陷区人民异常振奋，自发地支援八路军作战。
百团大战——对日军的“挖心战”摧毁日伪军据点：涞灵战役
9月16日，八路军总部发出第二阶段作战命令，要求各部队继续破坏日军交通线；摧毁深入抗日根据地内的日伪军据点。部署是：第120师主力彻底破坏同蒲路北段宁武至轩岗段；晋察冀军区主力破击涞（源）灵（丘）公路，并夺取涞源、灵丘两县城；第129师重点破击榆（社）辽（县）公路，收复榆社、辽县（今左权）两县城。这一阶段（９月22日至10月上旬）我军主要进行了涞灵战役和榆辽战役。
日军控制的涞源、灵丘地区深入晋察冀根据地西北部，是日军打入根据地的一个钉子。我与敌反复争夺这一地区，三年的残酷斗争中，四得五失涞源城；敌亦不惜代价，其常冈宽治少将、阿部规秀中将，皆于此地毙命。1940年9月中旬，由于日军主力西移绥西，驻扎该地区的日军仅为第2独立混成旅团和第26师团各一部，约1500余人，另有伪军1000余人。晋察冀军区主力奉总部命令，以8个团、3个游击支队、2个独立营组成左、右翼队和预备队，趁日军主力西调尚未完全返防之机于22日22时发动了涞灵战役。
经一夜激战，由杨成武指挥的右翼攻击部队夺取了涞源县城东、西、南关和两个外围据点，日军退入城内固守。但三甲村和东团堡却遭到日军的顽固抵抗，进展不顺。
东团堡位于涞源城东，是宣化至涞源公路上的日军后勤供应中继站和分割晋察冀根据地的战略支点。据守该据点的日军第2混成旅团的士官教导大队，共130余人，成员全是各部队选来的士官，都是带兵的，训练有素，武器精良，并有坚固的环形防御工事为依托。负责攻击东团堡的是第一军分区3团。
在22、23两日的进攻中，日军以施放毒气等方式负隅顽抗，3团牺牲很大。24日晚，全团再次进行动员，下定决心要在当晚拿下东团堡。总攻开始后，40名战士抬着云梯在火力掩护下，冲向敌中心碉堡。一夜激战，日军几乎全部战死，余下残敌被迫于村中数间房屋死守。25日，日军将据点库存武器、物资、粮食全部烧毁，准备突围。被八路军击退后，井田中佐强迫残存的27个日军跳火自焚，最后自己也葬身于火海之中。聂荣臻曾经感叹说：“东团堡之战，是以顽强对顽强的典型战例”。
到26日，右翼队及平西军分区9团相继攻克了三甲村、金家井、北石佛、桃花堡东团堡等13个据点。然而，由于我军阻击不力，23日由张家口出动救援涞源之日伪军推进迅速。28日中午，该路日伪军3000余人即到达涞源城。我右翼队遂转移兵力于灵丘、涞源方向，协同左翼队先后攻占了南坡头、抢风岭、青磁窑等日军据点。
10月2日，晋察冀军区下达涞灵战役第二期作战命令，由邓华率左翼队及右翼队之1团、2团进攻灵丘。但由于我军调动被日军发觉，进展不大。10月9日，又有大同日军1000余人来援。晋察冀军区认为不宜再战，决定结束涞灵战役，部队撤回根据地准备反扫荡。
涞灵战役持续20天，双方伤亡均重。我军战报称，此役毙伤日伪军1000余人，俘日军49人，伪军237人，八路军伤亡1419人。
百团大战——对日军的“挖心战”摧毁日伪军据点：松辽战役
榆辽公路由阳泉经平定、和顺、辽县到榆社，是日军深入太行根据地最远的一条公路。当时日军准备将这条公路由榆社再向西南地区延伸，经武乡与白晋路相连，达到分割太北根据地的目的。
第129师以第386旅和决死队第1纵队两个团组成左翼队，以第385旅（附第32团）组成右翼队，于9月23日发起榆（社）辽（县）战役，向守备榆辽公路的日军独立混成第4旅展开攻击。
陈赓的第386旅的任务是攻击榆社。榆社是日军自正太路经平辽公路、辽榆大道向白晋路各据点输送补给的主要枢纽之一。日军将榆社变成一个大堡垒，尤其是修筑了以东门外榆社中学为核心据点的堡垒群，密布大小碉堡，并将周围修成10至30多米的陡壁，设置数道铁丝网，火力配置十分严密。在屡攻不克的情况下，陈赓决定�