分析研究局又称I局。它是间谍情报活动的科研机关，负责研究、分析、总结间谍情报活动的经验、规律，并提供间谍情报活动的技术性设计和原则，以求指导和不断改善间谍情报活动。
第一总局还设有若干个直属处，有按国家或地区划分、负责对某国或某地区的间谍情报活动的地区处：如美国处、英国处、拉美处等等；或是按业务性质划分、负责某种专项业务的直属处：如负责炮制、伪造各种假情报的假情报处，负责暗杀、绑架的行动执行处，负责为间谍情报人员提供在外国进行间谍情报活动的掩护手段和技术性措施的掩护处，负责提供间谍情报活动技术工具的工具处等等。
第二总局：又称国内防谍局。主要负责管理、控制在苏联的外国人，对各国驻苏使馆人员及其他外国人进行监视和侦控，并对某些外国人进行收买、策反，以对抗外国的情报和间谍活动。苏联的很多向导、翻译、服务部门的工作人员都是这个局的成员。
该局下设13个部，其中有六个部是负责对付外国驻苏的外交人员的，并按地域或国家划分成美国及拉丁美洲诸国部、英联邦诸国（包括加拿大）澳洲部、西德奥地利及北欧诸国部、欧洲以外的“发达国家部”、欧洲以外的“不发达国家部”等等。另外七个部则分管外国游客、外国通讯社人员、外国留学生、外国商人、外国海员和申请出国的苏联人、电脑工作人员以及政府机关、企事业单位中重大的贪污、贿赂等案件。
第二总局下设的13个部中，以第七部规模最大，人员最多。该部的很多人员都是受过特殊训练、具有军衔的现役军官或预备役军人。他们被安插在旅游业各部门充当导游、翻译、旅行社的服务员，以监视在苏联的外国游客。
第四总局：又称边防总局。主要指挥和管理一支拥有数十万人并装备精良的海、陆、空边防部队。通过这支边防武装力量控制全部陆、海边境，负责陆、海边境的警戒和巡逻，进行出入境检查，搜集领国情报，在第三世界国家“协助”编练和指挥部队，对国外进行破坏、颠覆和组织武装叛乱等活动，该局下设10个边防军区。
第五总局：又称秘密警察局。主要负责取缔反苏分子、镇压国内人民反抗的工作，并监视国内的知识分子，起着从侧面管制学校的作用。该局下设五个部（局）一个处。分管控制苏联国内的宗教信仰，推行大俄罗斯主义，进行民族压迫，监视有海外关系的苏联人或从国外来苏联探亲的人，审查进口书刊，侦察有“异端”思想的知识分子，实行对文化界的全面控制，同时还负责管理卢比扬卡监狱。
戈尔巴乔夫当政时的1990年，克格勃在当时的主席克留奇科夫的领导下，撤销了第五总局，在此基础上成立了宪法保卫局。
克格勃的七个直属局是：
军队监察局，内设12个处，其任务是通过监视陆海空三军并搜集其情报以统辖、控制军队，防止发生政变或其他越轨行动，其中包括监视国防部、总参谋部和红军情报局的活动。
监视调查管理局，负责训练克格勃官员和专职间谍，它有训练有素的3500名间谍情报人员专门进行跟踪、监视，并设有专职的案件处理员、技术员和监督员等。
通讯管理局，负责通讯联络、通讯密码的制定和翻译，掌握苏联同国外工作人员之间的一切密码以及有关通讯、侦察的现代化仪器和设施。
技术管理局，负责制造和供应间谍情报活动的工具和仪器。它拥有一大批科学家在秘密的实验室中研究制造各种化学药品、毒品和杀人器械等。
警卫管理局，负责保卫苏共中央政治局委员、候补委员等党的高级干部及政府部门的安全，并严密监视和这些要人及机关接触的人。
工业机关保安管理局，主要负责某些研究中心、特殊生产机关和机要部门的安全，共设六个部，分管重工业、军火工业、核研究中心、对外贸易、外商、外国海员等工作。
人事管理局，这是克格勃的组织神经中枢，直接受苏共中央委员会组织部领导，负责克格勃的人事调动和吸收新成员。
克格勃的六个直属部是：
特别调查部，负责对克格勃和苏军总参谋部情报局（格鲁乌）的党政领导人进行调查，办理专案，而且每个专案都要由国家安全委员会主席亲自过目。
国家通讯部，负责控制全国的电台、电视台等全部系统。
保密检查部，负责保卫克格勃总部的安全，防止内奸和失、泄密行为的发生。
经验核对部，负责对苏联国内外间谍特务活动情况进行分析、研究和综合评述，并及时呈送极小范围内的领导人员参阅。
财政经济部，负责克格勃的财政预算和开支，掌握克格勃的财政经费。
档案登记部，又称档案中心。负责克格勃的全部档案，并随时将其综合、整理，编出索引。除此而外，还负责管理培养间谍的学校。它是世界上规模最庞大的资料部门。该部对各国在社会上有地位的人士、官员、科学家以及某个他们认为有可能加以利用或感兴趣的人都要进行调查，将搜集到的详细资料存入“档案中心”。它拥有数百万外国人的档案。另外，它对每一个苏联人都设有“红档”或“黑档”。“红档”是指一般情况记录，“黑档”是他们的重点调查对象。凡被列入“黑档”的人，都会受到国家安全委员会的监视，并不准他们到国外去。
除了上述的总局、局、部、处等组织机构外，克格勃还设有几个特殊的部门，比如：驻外情报站，克格勃为开展国外的间谍情报活动，在苏联驻各国的使领馆内都设立了驻外情报站，其活动由第一总局领导。苏联隐藏在使领馆内的间谍情报人员，约占驻外使领馆外交人员的30％至50％。
驻外情报站是克格勃在驻在国进行间谍情报活动的指挥中心。在第一总局设有驻外情报站站部，站部领导五个业务科：情报科、反间谍科、科技情报科、潜伏支援科、行动破坏科。
克格勃驻外情报站在驻在国里设置的数目也不尽相同，如它在美国就设立了三个情报站。设在华盛顿的驻外情报站以驻美使馆为指挥中心进行活动；设在纽约的驻外情报站主要是针对联合国进行活动；设在旧金山的驻外情报站主要针对美国的电子工业中心硅谷。
特别后备队：这是克格勃内部专门以文化、贸易活动为掩护，从事间谍活动的部门。这一部门的成员都是专业人才，如学者、记者、外交官、工程师以及金融、贸易和国际事务方面的专家，经训练后被吸收为成员。他们仍担任原有的公开职务，兼职完成克格勃交给的任务。这个机构除了搜集情报、物色策反对象、监视驻外人员外，重点以文化贸易为掩护来影响舆论。其人员分部在东欧、西欧、北美和亚洲的苏联驻外银行、贸易办事处和政府机构。这一机构由全苏商会主席领导。1985年8月，克格勃官员尤尔琴科叛逃美国后，才将这一机构的部门秘密向外界披露出来。
“信号旗”秘密特种部队：“信号旗”在机构上归克格勃第一总局管辖，直接听命于第一总局局长，是该局的一个特别行动处。它的主要任务是：在敌人的大后方从事侦察情报活动，破坏敌方具有重要战略意义的目标，抢占舰艇和潜艇，确保苏联驻外机构的安全，同恐怖组织作斗争，夺回位于本国或友好国家领土被敌人占领的高度危险目标。动用“信号旗”的决定由政治局作出，而作战命令则只能由克格勃主席以书面形式下达。
该部队90％的成员掌握了一二门外语，所有的人员都受过高等教育。每一位“信号旗”战斗人员都必须掌握跳伞技能，学习格斗，能够熟练使用国内外的各种轻型武器。
在1991年“8。19”事件中，“信号旗”受命开赴最高苏维埃大厦进行实地侦察，准备进攻白宫。但上面始终没有下达进攻白宫的明确指令。1992年1月，“信号旗”划归新成立的俄罗斯联邦安全部。
克格勃的任务和权力
《苏联部长会议国家安全委员会条例》这份绝密文件对克格勃的任务作了明确而具体的规定：
A、在资本主义国家进行间谍工作。确保间谍人员渗入资本主义国家的国务、政治、科学、技术和谍报中心；渗入资本主义组织的上层机关，以加深它们工作中的矛盾和困难，获取敌方政治和军事战略计划及其间谍机关的可靠情报；提供最新的科技成果的情报资料；在国外反苏的移民组织中安插特务，使这些组织瓦解和从思想上崩溃；向敌人提供假情报。
B、积极主动地进行反间谍工作，并渗入敌人的谍报组织防止外国谍报人员及其代理人的活动；在苏联海陆空军、边防军、内务部和其他重要的部门进行工作；保护国家机密的安全；采取反间谍措施，保护在国外的公民不被帝国主义特务机构利用，防止任何背叛祖国的行为；对各大使馆开展谍报和反谍报工作。
C、同反苏分子和民族主义分子进行斗争，查找刑事犯罪分子和反苏文章的作者及散发者；对教会人员进行监视，尤其要防止天主教会和梵蒂冈之间发生不正当关系。
D、充当党的领导人（苏共中央委员会政治局委员和候补委员）和政府领导人的警卫人员，保障党的、政府的通讯安全；记录全国所有电台的工作情况，做好这方面的反谍报工作。
E、保卫苏联边境（由克格勃管辖的边防军负责）。
F监视通信联络，保障和组织政府的通信畅通。
G执行苏联共产党中央委员会和苏联政府委托的特殊任务。
《苏联国家安全委员会组织章程》也对克格勃的任务作了明文规定：“克格勃系苏联共产党之政工组织，克格勃……根据党的命令和政府的法律、规章和指示进行其工作…