管辖，在未扩大其法律规定职权范围的情况下，提高了在国家政府机构中的地位。在1932年通过的苏联宪法中，用专门的章节规定了国家政治保卫局的义务和行使的权力的基本原则。在这部苏联宪法第61条中所规定的国家政治保卫局的职责是：“与苏维埃联盟的其他执法机关共同协调工作，维护社会主义共和国联盟的团结，同在政治、经济领域中与苏维埃联盟为敌的反革命分子、匪帮以及间谍活动进行不懈的斗争。”
值得注意的是，这一次通过的苏联新宪法还明文规定，在苏联最高苏维埃人民委员会中将为国家政治保卫局的主席保留一个固定的席位。这样就以法律的威严确保了国家政治保卫局在执行布尔什维克党和苏维埃国家领导人赋予的特殊使命时不再受到行政与司法程序运作的束缚。
自全俄契卡被撤销之后，从1922年的国家政治保卫局到1923年后的国家政治保卫总局，其最高领导人仍然由捷尔任斯基担任。这位红色秘密警察的创始人一直不折不扣地执行着苏维埃中央执行委员会和苏联共产党（布）中央的一切指示，使国家政治保卫局和国家政治保卫总局成为保证党中央各项政策得以贯彻至每一级基层组织的有效系统，直到1926年他因病逝世。
捷尔任斯基去世后，国家政治保卫总局的领导职务由维亚切斯拉夫·鲁道夫维奇·明仁斯基继任。20年代末期，随着国际斗争形势的复杂变幻和苏联国内政局的发展，国家政治保卫总局的权力范围和其在国家政权机关中的地位又渐渐上升了。这时，在苏联的广大农村开始了轰轰烈烈的合作化、集体化运动，来自民间的不满情绪不断集聚、扩大，以至对这场规模宏大的运动形成了空前的阻力。1929年12月27日，苏联最高苏维埃颁布了一项严厉的法令，要求国家政治保卫总局也投入到保卫在大多数乡村进行着的合作化和集体化运动的工作中去。1930年4月7日的另一项法令，把苏联的边防部队和在各地设立的众多劳改营也都归属国家政治保卫总局的管辖范围之内。同时，国家政治保卫总局还以不同面目参与了对苏联新闻、出版、电影等各种媒体的监督和审查。
“肃反先锋”——剑与盾的功能交替
1934年，国家政治保卫总局主席明仁斯基去世。在这一年的7月10日，根据斯大林起草的苏维埃国家联盟又一项法令，国家政治保卫总局改组维国家安全局（rnrb），并且将这个包括对内进行政治监督、对外进行反间谍渗透和情报侦察的秘密警察组织再次归属于最高苏维埃内务人民委员会的领导之下。曾经担任过明仁斯基副手的根里赫·戈里高里耶维奇·雅戈达被任命维内务人民委员会主席。除了国家政治保卫总局之外，在内务人民委员会之内还设立了另一个专职的总局，用来专门管理边防部队、内卫部队、民警、集中营和劳改营，甚至在国民经济的一些重要部门的企业和交通运输部门中也设置了分支机构，用来负责这些系统的反间谍和安全工作。
12月1日，苏联共产党中央政治局委员、列宁格勒州委书记基洛夫遇刺身亡。斯大林借此开始大肆运用内务人民委员会的秘密警察力量和手段，对所有异己人物和势力进行无所不至的监视和调查，随后，以彻底剪除为目的而大加杀戮。首当其冲被蒙上不白之冤的是布尔什维克的早期革命活动家季诺维也夫和加米涅夫。到1935年1月，苏联内务人民委员会和司法人民委员会以参与谋杀基洛夫的罪名，对季诺维也夫和加米涅夫进行了旷日持久的“精心审判”，并于1936年8月将他们处决。
1936年，雅戈达因为“不能胜任揭露托洛茨基——季诺维也夫反党集团的斗争”而被斯大林免去了内务人民委员会主席的职务，先是改任邮电人民委员，其后不久，他被当作了布哈林的同谋而被指控为反革命杀人犯和外国资产阶级的间谍而被解除了职务，在经过司法人民委员会形式上的公开审判之后，就被他当初的下属枪决了。
在雅戈达之后继任内务人民委员会领导职务的是尼古拉·伊凡诺维奇·叶若夫。后人关于叶若夫的描写都不免带有几分神秘而生动的笔触：这是一个身高只有1。54米、言行不同常人的“冷血侏儒”。
内务人民委员会不仅没有因为其领导层的换马而中止在苏联全国范围之内的大规模清洗，而且，在叶若夫“明智地吸取了”他的前任最终身败名裂的教训之后，更加变本加厉地运用斯大林赋予他本人和内务人民委员会几乎是至高无上的权力和庞大、高效的组织体系，继续推动着这场波及整个苏联所有角落的运动。叶若夫比他的前任更加“具有创造性地”执行着对苏联共产党和国家机关内的整肃，主要表现于他在全国范围内掀起了“揭发党和革命的敌人”的告密运动，并以此结合秘密监视、侦察和刑讯逼供等手段，使整个苏联从国家党政的核心机构，到边远的集体农庄，不论是党和国家的高层领导，还是文学、艺术界的著名作家、演员，几乎人人自危，对谁都不敢相信，包括自己的家人和最知心的朋友。他在对国外加强情报侦察的同时，将许多当时著名的苏联驻西方国家的外交官也列入了他的清洗名单。为了加强对国外渗透派遣工作的管理和指导，1936年9月，叶若夫特别建立了“特殊任务局”。
1938年12月8日，按当时苏联官方报纸的说法，“经叶若夫本人的要求”，他被免职。此后，叶若夫逐渐地淡出了人们的视野，并神秘地消失了。
贝利亚时代——再一次权力膨胀
叶若夫被撤职后，1938年，他先前的助手又接替了他内务人民委员会领导人的职务，这个人就是曾在卫国战争前后的苏联政坛上炙手可热、显赫一时的重要角色——拉夫连季·巴甫洛维奇·贝利亚。
贝利亚上台后首先将叶若夫时期重用的助手和亲信清理出内务人民委员会。对于他来说，这一步骤至关重要，不仅在中央机关，就连地方内务系统中曾热衷于听命叶若夫的效忠者也难逃厄运。1939年2月，苏联共产党（布）中央委员会召开了一次全体会议，议题包括检讨前一时期在苏联各级党组织和国家机关中进行大规模清洗的过激行为，并在此基础上，通过了“批评内务人民委员会滥施职权致使以肃清十月革命以来混入苏联共产党内异己分子为目的的清洗运动无限制地扩大化错误”的决议案。而且，责成新任的内务人民委员会主席贝利亚对前一时期内务人民委员会所做的工作进行调查。经过这次苏（布）共中央全会之后，贝利亚在苏共中央的地位基本确立，他在内务人民委员会清除异己的行动也就更加名正言顺了。1939年3月，在苏联共产党（布）第十八次全国代表大会上，贝利亚当选为政局候补委员。
客观地说，到了30年代末期，尤其是1939年以后，苏联秘密政治警察机关对国内和党内的清洗、迫害行动已有所收敛（尽管逮捕苏共党内高级干部和普通党员的事件仍然时有发生），许多在叶若夫时期已经被立案收审的苏联共产党和国家政府机关的高级干部获得了平反，中下级普通党员干部中有数万人被宣布无罪释放。特别时在苏联红军中，一大批高级将领被恢复了职务和工作。
1939年9月，法西斯德国军队进入波兰，第二次世界大战爆发。尽管《苏德互不侵犯条约》刚刚于同年的8月23日在莫斯科签字生效，但是德国、意大利以及日本的结盟和西方阵营竭力将法西斯势力向社会主义苏联诱导的“祸水东引”行动，已经对苏联的国际安全环境构成了严重的现实威胁。为此，有效地防范来自法西斯阵营和西方国家的间谍和情报渗透，成为苏联内务人民委员会的首要任务之一。同时，为了在随时可能发生巨变的国际阵营对垒中占据最主要的地位，掌握更多的王牌，苏联内务人民委员会和总参谋部情报总局一直联手，积极向苏联境外派遣和发展情报人员，努力编织跨国间谍网。
1941年2月，在欧洲战事对苏联的威胁日益加剧的形势下，苏联秘密情报机构在组织结构上又一次发生了变化。国家安全总局再一次从内务人民委员会中分离出来，改名称为国家安全人民委员会，与内务人民委员会平行分成两个部，独立开展工作。但是到了这一年的7月，内务人民委员会和国家安全人民委员会又合并在一起。无论是分，还是合，把持这两个特别部门最高领导权的核心人物始终是受到斯大林高度信任的贝利亚。然而，促使这次苏联政治秘密警察系统再次改组的主要原因，除了迫在眉睫的战争以外，以前国家安全总局所管辖的工作过多、过杂也是原因之一。
40年代初，内务人民委员会通过国家安全局对苏联国内的许多重要工业部门实现了相当程度的控制。因为，在这一时期的苏联经济发展政策中，优先进行重点建设的许多大型军事工业、能源工业和矿藏开发大都分布在乌拉尔以东的广大西伯利亚地区，由于这里是俄罗斯历史上传统的流放地，苏维埃政权建立以来，每次肃反和清洗运动之后，都有大批犯人被遣送到这里来，从事各种艰苦条件下的工作。对这一大批犯人的看押和管理，从契卡时期起就一直由苏维埃的特设机构负责。然而，到了这个时期，这一部分与秘密情报工作几乎毫不相干的任务，越来越繁重地压在国家安全总局的工作人员和机构的身上，这不仅大大分散了苏联国家主要秘密情报机构从事主要工作的精力，而且对内与对外、秘密与公开几种重要职能的相互混杂，也触犯了秘密情报工作的大忌。
尽管如此，卫国战争时期的苏联秘密情报机关在贝利亚的主持之下依然享有极大的权力，其工作所涉及的领域，早已超过了一般国家同等部门的范围。自1923年苏维埃社会主义共和