尽管如此，卫国战争时期的苏联秘密情报机关在贝利亚的主持之下依然享有极大的权力，其工作所涉及的领域，早已超过了一般国家同等部门的范围。自1923年苏维埃社会主义共和国联盟成立以来，各加盟共和国与中央、与俄罗斯，及至相互之间的关系并非十分巩固。1941年，德国法西斯入侵以后，各个以非俄罗斯民族为主体的加盟共和国及其各地的非俄罗斯少数民族与苏联中央政府以及俄罗斯之间的裂痕被扩大了，一些苏联版图上的小民族出于从沙皇时期起就对俄罗斯人产生的积怨，对德国人的到来并没有表现出明显的反感，而且个别地方的少数民族还与德国人建立的傀儡政权实现了“某种程度上的愉快合作”。这种行为自然大大地触怒了斯大林。结果，在卫国战争结束以前，苏联内务人民委员会被授权对分别生活在伏尔加河下游地区的卡尔梅克人、生活在西伯利亚地区的朝鲜人和生活在南高加索地区的车臣——印古什人进行了大规模的强制性迁徙。尽管到后来的苏联“政治解冻”的时期，这些少数民族都陆续迁回了原来的聚居地，但是，这种民族敌视和民族消灭政策推行的结果，使苏联各民族之间，尤其是各少数民族与俄罗斯人之间的心理隔阂，却再也难以消除，而且愈演愈烈。
为克格勃铺上最后一块砖
1941年卫国战争爆发之后，苏联秘密警察机关和间谍情报组织的工作重点全部转向了为战争的胜利服务。一开始，这一系列工作的最高领导机关都交由内务人民委员会的国家安全总局和总参谋部的情报总局负责。在战争时期，针对敌人在苏联境内的各种秘密情报和颠覆活动，在贝利亚的支持下还专门成立了一个特别部门——“消灭间谍局”，具体负责对内侦察和对外防止外国间谍组织的渗透与颠覆，对外则一方面负责对敌后进行侦察和破坏，另一方面还负责向敌对国家派出间谍搜集情报。由于“消灭间谍局”成立的内部背景和战争时期特殊的要求，这个组织的所有工作自然带有浓厚的军事色彩，并且享有着很大的权力。在卫国战争中，“消灭间谍局”在苏联军队各战线和方面军中都设立了派出机构和特派人员，在后方和敌后也活跃着无数为它工作的组织和小分队。
1942年，“消灭间谍局”的职权经过了进一步分离之后，正式交由最高苏维埃内务人民委员会国家安全总局领导。这样，在内务人民委员会的总体指导之下，国家安全总局责成“消灭间谍局”承担以下几个方面的职责：
1、深入敌后，组织当地分散的苏联军队和游击队对德军的指挥、通信、后勤补给等要害设施进行破坏、干扰行动；调查当地在德伪政权中为敌人效力的苏联人，对其中罪恶极大和已经对苏联人民构成危害的适时予以处决；消除当前或战后的隐患，侦察并破坏德军在当地建立的谍报网。
2、在后方严查敌方派遣的间谍和为敌方服务的通敌分子；及时发现敌人空投的伞兵和进行秘密渗透破坏的小股部队；严厉查处逃往后方的变节逃兵。在侦察和处置从事上述敌对活动的目标时均有权执行死刑。
3、在苏联军队收复的地区对有与德国军队合作嫌疑的所有苏联公民进行调查；调查敌军撤退时可能布置的谍报网与破坏活动组织；秘密调查苏联军队解放的非苏维埃国家和地区的人民对苏联的态度。
4、借敌军撤退和战争难民迁徙机会，向德国以及西方国家进行渗透；了解战争中被法西斯军队掠走的贵重文物和财产的去向；跟踪调查罪大恶极的德国战争罪犯和逃亡国外的俄奸分子；争取获得德国最新的军事科学及其他学科的尖端成果和机密，监视、跟踪并将掌握这些机密的专家和官员伺机裹胁入境。
这一系列的工作需要“消灭间谍局”与内务人民委员会的其他部门以及军方的密切协调、合作，因而要求它的领导人不仅具有全面地组织指导以上工作的能力，还必须是一个能够协调几个重要职能部门之间关系的核心性人物。因此，在苏联当时的特殊政治背景下，这就要求他必须是个能够取得最高领导层绝对信任的人物。出于以上考虑，斯大林任命维克多·谢苗诺维奇·阿巴库莫夫中将担任“消灭间谍局”局长职务。
1943年4月，国家安全总局最终由内务人民委员会再次分离出来，名称仍然叫国家安全人民委员会。这一次的机构调整，使两个部的工作分工更加明确：内务人民委员会主要负责国内秘密机构、民政、警察机构及部队的管理等方面的事务性工作；而国家安全人民委员会则更多地主管着边防部队、劳改机构、国内安全、反间谍、敌后地下游击活动和向敌对国家进行间谍渗透的工作。
1946年，苏联共产党中央委员会和苏联最高苏维埃主席团下令，内务人民委员会和国家安全人民委员会正式地成为了两个苏联国家部一级的政府机构，名称也从此改为苏联内务部和苏联国家安全部。
1953年3月，斯大林去世，国家安全部被撤销，其工作被并入贝利亚兼任部长的内务部。贝利亚被搞掉后，1954年，苏联共产党中央委员会和苏联最高苏维埃主席团又决定把国家间谍情报和安全工作从内务部中分离出来，成立形式上隶属苏联部长会议，实际上由苏共中央政治局领导并由苏共总书记直接控制的国家安全委员会，这就是克格勃。克格勃成立后，苏联情报组织体制也就基本定型了。
克格勃名义上隶属于部长会议，实际上直接由苏共中央政治局控制，其工作计划由政治局批准，重要问题直接向政治局报告，日常工作由苏共中央书记处领导。
克格勃的第一任主席是赫鲁晓夫的亲信、前乌克兰国家安全机构的负责人谢洛夫。1958年谢列平出任克格勃主席，谢洛夫出任格鲁乌负责人（1962年潘可夫斯基事件发生后，谢洛夫被贬）。在以后的几十年中，克格勃的领导人多次更迭，继谢列平之后有谢米恰斯内依、安德罗波夫、费多尔丘克、契布里科夫，契布里科夫曾担任安德罗波夫的副手13年，1982年12月升任克格勃主席，翌年12月进入政治局为候补委员，1985年4月晋升为正式委员。
多年来，克格勃的机构人员不断扩大，从上到下，从国内到国外，建立了一套完整的体系，其权力相当于美国中央情报局和联邦调查局的总和，在苏联政治体制中占据重要的地位，具有很大的影响，被誉为“国家的栋梁”。
克格勃的组织机构（1）
莫斯科，离克里姆林宫两个街口之遥，有一个以俄国革命元老捷尔任斯基的名字命名的广场。广场两面，一边是充满孩子欢声笑语的“儿童世界”商店，一边却是阴森恐怖的克格勃总部——捷尔任斯基广场2号。这是一座没有任何标志的灰色九层大楼，房间狭小，陈设简陋，只有那一条条专用通信线路和一排排复式保密柜显得非同寻常。
克格勃是苏联权倾一时的国中之国。全盛时期，它统领四十多万人马，指挥着遍布全球的九万多名秘密间谍和安插在各级权力机构的大批特务，负责克里姆林宫和政治局首脑的安全警卫。它名义上隶属于苏联部长会议，实际上只听命于苏共中央总书记一人。它的权力之大，没有一个党政机关能出其右；它的职能范围，比美国中央情报局和联邦调查局加起来还要广。在20世纪的国际间谍大战中，克格勃是唯一可与美国间谍机构争雄的“大哥大”。在军事情报方面，它的活动范围和手段也是十分突出的。
克格勃的组织机构十分庞杂，它的总部除设有各种从事情报、间谍活动的机构以外，还有两个特殊的部门：一个是高级俱乐部，一个是卢比扬卡监狱。卢比扬卡监狱是专门囚禁政治犯的地方，戒备森严，对外绝对保密，美国U2型高空侦察机的驾驶员鲍尔斯被俘后就关在这里。
克格勃总部下设若干个总局，总局之下又设若干局、处、科，形成了一个局中有局、处中有处的庞然大物。总局、局、处、科等各部门之间分工明确而具体，组织十分严密。它由四个总局、七个直属局和六个直属部组成，每个局、部又设有许多部门。
克格勃的四个总局是：第一、第二、第四、第五总局。
第一总局：又称对外谍报局。主要负责对外间谍情报工作、全部对外宣传和国际交往的政治工作。它是克格勃情报间谍活动的策划和指挥部门，主要职责是通过派遣到世界各国的驻外人员和秘密潜入到别国的间谍、情报人员进行搜集情报、窃取秘密或破坏、恐怖、颠覆等活动。总局下设3个分局和20个处。主要分管情报、反情报、假情报、行动执行、伪装、联络通讯、假护照、档案、人事等工作。
第一总局下设的三个分局是：秘密活动局、科技情报局和分析研究局。
秘密活动局又称S局，主要负责间谍情报人员的选择和培训，并指挥潜入外国的间谍情报人员进行秘密活动。
科技情报局又称T局。它每年从各地的理工院校选拔一些高材生送进克格勃情报学校，训练他们掌握物色目标、鉴别材料以及窃取和传递情报资料的技能，结业后分配到T局工作。T局是第一总局的下属各局中第二大局。拥有一支由2000名专业科技人员组成的情报队伍，分别在国内外工作。他们不但有权决定出席国际会议的科学家人选，而且还派人随团出国直接与外国学者接触。在国外工作的T局情报人员大部分以外交官、科学顾问、公司代表等合法身分为掩护，从事科技情报搜集活动；一小部分以伪造身份和假证件非法潜入别国进行刺探、搜集有关研究、太空技术、导弹潜艇技术、电子工业、光学纤维、机器人等尖端科学技术的情报。
分析研究局又称I局。它是间谍情报活动的科研机关，负责研究、分析、总结间谍