天下，天子已经听不进任何逆耳的话语。大怒之下，玄宗罢朝而去。而李林甫却趁机上奏说：“仙客有宰相之才，尚书之职乃大才小用，有什么不可以的？九龄乃一文吏，过于囿于古义，有失大体；再者，天下者，陛下的天下，陛下用一官吏，有何不可？”玄宗见有大臣支持自己，大喜，就加封牛仙客为陇西县公。并且夸赞李林甫为相而不专权。从此，玄宗便有意与张九龄疏远了。
李林甫曾引荐萧旻为户部侍郎。萧旻不学无术，有一次在与中书侍郎严挺之“同行庆吊”时，当众错读一字。严挺之深感遗憾，就对张九龄发了几句牢骚。张九龄凡事认真，便以不学无术弹劾萧旻，贬为歧州刺史。李林甫由此怨恨严挺之，刚好有件事主动撞上门来。
严挺之曾经休妻，前妻后来改嫁给蔚州刺史王元琰。王元琰因贪赃下狱。前妻无奈之下，只好求严挺之相救。大概出于补偿的心理，严挺之立即全力设法营救王元琰。李林甫使人奏告玄宗，说严挺之私袒王元琰，应该连坐。张九龄为严挺之辩解，认为其中不应会有私情存在。玄宗却道：“卿不知，虽离之，亦却有私。”皇帝这样说了，张九龄不便再求情，只好请裴耀卿代救严挺之。李林甫却乘机上言：“耀卿、九龄都是朋党。”玄宗早已经有疏薄张九龄之意，乐得有个借口，于是借此案将张、裴两人罢相，贬严挺之为洛州刺史。
『注：天宝元年（742年），玄宗重新想到了严挺之的才干，便问李林甫查询：“严挺之现在何处？此人应该重用。”李林甫立即召严挺之的弟弟严损之到府“叙故”，貌作亲密状，说：“皇上很惦念尊兄的近况，现在应作一计策，以求晋京觐见，必有重任。”并出了一主意，让严损之替兄长写一状纸，“奏称风疾，求还京师就医”。严损之很感激地照办了。李林甫拿着状纸，告诉玄宗说：“严挺之年事已高，近来又得了风疾，陛下可以给他个闲职，以便就医。”玄宗嗟叹良久，只好授严挺之以员外詹事，命去东都洛阳养病。』
罢朝之后，李林甫目送远去的二位老相，得意万分，阴阳怪气地问：“左右丞相何在？”一旁的诸位大臣听见，无不心寒，且胆颤心惊。李林甫旋即升为中书令，终于成为群臣之首。
不久，李林甫协助武惠妃构陷太子李瑛。玄宗尚迟疑到底要如何处置太子，便召来宰相李林甫商议。李林甫只是轻描淡写地说：“此乃陛下家事，臣等不宜介入。”李林甫做作的话，反而促使玄宗作出了决定。不久，便将太子瑛、鄂王瑶、光王琚废为庶人并赐死。天下人为之痛心，号之为“三庶人”。然而，出人意料的是，武惠妃因数见三庶人的冤魂作祟，忧怖成疾，于当年死去。武惠妃的死，使得李林甫在废太子李瑛事件上所立的大功顷刻化为乌有。为了自己的利益，他加紧促使玄宗立武惠妃之子寿王为太子。玄宗却因为太子冤死而迟疑不决，寝食难安。高力士察知其难，进言说：“立嫡以长，谁敢言者！”终于促使玄宗下定决心立三子忠王李玙（后改名为李亨）为太子。李林甫错失一着，但并未就此罢休，之后发生了多起构陷太子李亨的事件，将会在后面的篇章中论述。
再讲几个关于李林甫的有趣故事。
李林甫有6个女儿，他在客厅的墙壁上开了一个横窗。每当有贵族子弟到他家来，他就让6个女儿在窗内窥视，自由选婿。这既表现出一个封建家长的大度与宽容，也是与大唐盛世自由奔放的风气一脉相通。
李林甫的表亲中有人得了儿子。幼儿初生，照例要表示庆贺。《诗经·小雅》“斯干”有“乃生男子，载寝之床，载衣之裳，载弄之璋”；“乃生女子，载寝之地，载衣之裼，载弄之瓦”的描写，所以后世就将生男称为“弄璋之喜”，生女称“弄瓦之喜”。李林甫粗鄙无文，在信中称“知有弄獐之庆”。堂堂宰相，以“璋”为“獐”，一时传为笑谈。
李林甫在家中设有一个专用厅堂，形如弯月，号称“月堂”。每当要排斥陷害某位大臣时，李林甫就住进“月堂”，绞尽脑汁地思考，任何人不得打扰，如果他欣喜若狂地从堂内出来，则肯定是有个政敌将要“家碎矣”。李林甫出于打击异己的需要，还蓄意培植一批酷吏为亲信。他举用了曾被玄宗批评为“是一不良人，朕不用也”的吉温和“为吏深刻”的罗希姡ё魑母埂＜隆⒙尴＇两人审理狱案，完全按照李林甫的意旨进行，制造了许多冤案。凡是落入吉、罗两人之手的李林甫政敌，没有一个能逃脱厄运，所以时人称之为“罗钳吉网”。
李林甫为人奸险，但却藏而不露。若与之初次接触，还觉得可敬可亲，天长日久，便会发觉他深不可测。李林甫每次上奏时，必先贿赂宦官和后宫嫔妃，连皇宫的伙夫、宫女也委以重金，作为耳目。如此，玄宗的一动一静，李林甫便了如指掌。为了自己能够无所顾忌地行奸作佞，李林甫采取指施，竭力做到“杜绝言路，掩蔽聪明，以成其奸”。他曾经召集朝廷所有的谏官，明目张胆地讽喻谏臣缄口。补阙杜琎偏不理睬，坚持上书言政。李林甫为了杀一儆百，当即将其贬为下令。自此，“谏官皆持禄养资，无敢正言者”。
李林甫还“善养君欲”。玄宗自武惠妃死后，霸占了儿媳寿王妃杨玉环。李林甫身为首辅，却缄口无言，任其所为。当玄宗信奉道教以求长生之术时，李林甫又“舍宅为观以祝圣寿”，讨取皇帝的欢心。为了保证玄宗的奢靡消耗，李林甫甚至不惜改变经济法令，以增加赋税的措施来聚财。此时，玄宗皇帝年事已高，怠于国事，将政务全部交托给李林甫。李林甫长期的为所欲为，倒行逆施并没有招致政敌们有力的反击，相反他却能把持权柄直至终老相位，这与他“柔佞多狡数”、善“迎合上意”的政治权术有关。
李林甫结怨甚众，他儿子李岫对此非常忧虑恐惧。一天，李岫陪李林甫游后花园，看到有个下人正在拉很重的东西。李岫指着下人对父亲说：“人久处钧轴，怨仇满天下，一朝祸至，欲比此人得乎！”（《资治通鉴·卷二百一十五》）李林甫听了，很不高兴，说：“事情已经到了这一步了，还能怎么办呢？”可见他本人心里非常清楚，因此每每担心遭刺客暗算。以前的宰相“驺从不过数人”，到了李林甫这里，“出则百余人为左右翼，金吾静街，前驱在数百步外，公卿走避”。他晚上睡觉也不踏实，“居则重关复壁，以石瓮地，墙中置板，如防大敌。一夕屡徙床，虽家人莫知其处”。把自己家里搞得机关重重，神秘莫测，甚至连家人都防范，其内心的虚弱可见一斑。
这个时候，玄宗越来越只关心自己的家事，日益沉溺于温柔乡中，对政治感到倦怠。从而导致李林甫对朝廷的支配远比他的前任宰相们全面。天宝三年（744年）十二月的一天，玄宗一时高兴，对亲信宦官高力士炫耀地说：“自开元二十四年至今，朕不出长安近十年，天下无事。朕欲高居无为，清闲处之，把政事全委任于李林甫，你看如何？”高力士感到玄宗不理政事而任凭李林甫独断专行不正常，对朝廷不利，便善意地提醒道：“天子巡狩，古之制也，陛下应当坚持。再说，天下大柄，不可转于他人。李林甫威势既成，谁敢对他怎样？谁能奈他何？”高力士对李林甫并无恶感，他一切的出发点只是要保护玄宗的地位，他已经机警地看到李林甫独揽大权的潜在威胁。但玄宗却不以为然，反而接受不了高力士对李林甫的评判。高力士一看，知道自己说话不合皇上的心思，得罪了皇上。他立即跪倒在地，自责道：“老臣狂痴，说出妄言，真是罪该万死。”从这件事中，高力士接受了一个很深刻的教训。从此之后，他再也不敢深言天下之事，不敢深言玄宗之得失。
『注：唐朝最终是亡于藩镇之手，然而，直接原因却是宦官专政。高力士则历史上宦官处理国家政务第一人。高力士，潘州（今广东茂名）人，本姓冯，名元一，“冯盎曾孙也”（《新唐书》）。冯盎因武略过人，被隋文帝杨坚授为金紫光禄大夫，官拜汉阳太守。隋亡之后，岭南一带地方势力多被冯盎收伏，归于其麾下。时有人向冯盎提出说，大唐初建，尚无力顾及僻远的岭南地区，不如自封南越王，独霸一方。这个建议即被冯盎拒绝了。唐高祖武德四年（621年），冯盎率自己的兵马归附唐朝。唐高祖李渊对冯盎甚为器重，让他仍旧管辖当地事务，并授冯盎上柱国、高罗总管之职，晋封为吴国公，不久改封为越国公。他的两个儿子也分别被授予春州刺史、东合州刺史。冯盎全家此时可谓显赫一时。贞观二十年（646年），冯盎去世，家道逐渐中落。嗣圣元年（684年），冯家诞生了一个新的生命，取名为冯元一，他就是后来的高力士。论辈分，他是冯盎的曾孙。唐长寿三年（694年）二月，有人诬告岭南流人谋反，武则天派司刑评事万国俊以监察御史衔前去查处。万国俊到广州后，将流人300多人驱至水滨全部斩杀。与流人有来往的也受株连。潘州刺史冯君衡（冯元一之父）因受此案牵连而被抄家。冯元一时年10岁，免死被阉，改名力士，圣历元年（698）入宫。力士年幼时行事聪慧、口齿伶俐，很得武则天赏识，让他留在身边，给事左右。后力士因犯小过，被鞭挞后逐出宫。老宦官高延福收养了他，作为螟蛉之子，从此，力士改姓高。高延福出自武三思门下，高力士因此也常往来于武三思家。通过武三思的说情，武则天把高力士重召回皇宫。经过这一番挫折，高力士体会到宫廷生活的险恶。此后，他待人处事更加谨严、慎密，遇事三思而后行，果然再没有出什么纰漏，重新获得了武则天的信任。此时高力士已经成年，身高六尺五寸，性格谨慎缜密，办事精