楷g专门在迂阔大言上面下功夫，来求得虚名，他所引用的人也都是轻浮之辈，简直就是第二个王衍啊。陛下任用这样的人为宰相，只怕对国家不利吧。而且房琯在蜀中辅佐太上皇，使陛下与诸王分领各道节度使，把陛下安置在荒凉空虚的塞外沙漠，又把自己的亲信党羽安插在各地，让他们统领大权。房琯的用心是不论皇帝的那一个儿子得天下，自己都不失富贵，这岂是忠臣所做的事！”玄宗这样的安排究竟是不是出自房琯的主意，不知道，也许有他参议的份。但玄宗让肃宗统领朔方等四镇，也是出于就近的考虑，不然难道让肃宗千里迢迢从朔方的灵武赶去南方不成？而且要提到沙漠荒凉，朔方固然是这样，贺兰进明的话不无对处，但李珙的安西四镇岂不更荒凉？所以说，这些话也有点谗言的味道。有了贺兰进明的挑拨，肃宗果然疏远了房琯。贺兰进明确实不对，但是房琯先改变肃宗的任命在先，也不怪人家不乐意，至于肃宗不能做到“用人不疑，疑人不用”，虽然谈不上有多好，但也满正常的，历史上真正能做到这一点的并不多。肃宗此后下诏任命贺兰进明仍然是“御史大夫”，也算给房琯一个警告。
房琯这时也正好上疏，请求亲自带兵去收复两京。考其用意，是想建立功业，当然也是想为国家出力了。肃宗一听有人要去收复两京，那还不高兴，当然就同意了，于是加封房琯持节、招讨西京兼防御蒲潼两关兵马节度等使。房琯又请求由自己挑选部下参佐，肃宗也满足他的要求，房琯便以御中史中丞邓景山为副将，户部侍郎李揖为行军司马，中丞宋若思、起居郎知制诰贾至、右司郎中魏少游为判官，给事中刘秩为参谋，临行前，肃宗又让兵部尚书王思礼去协助房琯。所有人中，除了肃宗任命了一个有打仗经验的王思礼，房琯自己任命的那些，的确没几个是有名的，一个魏少游，给人的感觉是他拍马功夫大于实干的能力，其它的就一个贾至，在与王维、杜甫、岑参的“大明宫唱和”中，好心写了首诗呈两省僚友，还被称为是抛砖引玉之作——当然了，贾至、李揖、刘秩这些都是文弱书生，不懂军事，房琯把军务大事交给李、刘二人，真是一个糟糕的问题。王思礼夹在这些人当中，想必也是十分郁闷，说不定他这个武人，还会被房琯认作是“庸俗之辈”，从后面的情况来看，王思礼确实没得到房琯委派什么任务，估计就是被房琯抛开了。所以，房琯带着一帮纸上谈兵的人去打仗，不用看后面，我们也觉得事情不妙啊。
房琯对人说：“贼曳落河虽多，安能敌我刘秩！”什么叫曳落河？这个不是说掉进河里，而是安禄山的精锐亲兵，安禄山“养同罗、奚、契丹降者八千馀人，谓之‘曳落河’”。房琯夸口说虽然曳落河厉害，又安能敌得过我的谋士刘秩呢！他把军队分成三部分：由杨希文率领南军，从宜寿进攻；刘贵哲率领中军，从武功进攻；又派李光弼的弟弟李光进率领北军，从奉天进攻。他自己则是自将中军，为前锋。
我们房大宰相战绩如何啊？十月二十日，唐军前进到便桥一带。第二天，房琯的中、北两军与叛军安守忠所部在咸阳的陈涛斜（一个颇像人名的地名）相遇。房琯此战效法古人，居然用起了几千年都没用过的老掉牙的战车进攻战术，实令人匪夷所思。而且战车所用的牲畜也不对呀，人家是要用马，房琯却用牛来代替，牛虽然粗壮了许多，但灵活性就差了，所以战将都是骑马，骑牛的可太少了，单挑的时候骑牛岂不要吃大亏？《封神演义》里黄飞虎是骑牛，可人家是神牛，你一般牛能比么？何况又是小说，更不能算数了。房琯组织了二千辆的牛车队伍，并让步、骑兵护卫左右——士兵们都用来照顾牛了，真是得不偿失。没准骑兵的马和牛们还聊天呢：“咦，牛兄，您怎么也上战场了？”牛说：“唉，没办法，房大人心血来潮，不敢不来啊。”咳咳，说到哪了？——双方交战后，叛军顺风擂鼓呐喊，牛哪里见过这阵式，都吓的不轻。叛军又放火焚烧战车，顿时唐军乱了阵脚，人畜相杂，死伤多达四万余人，逃命活下来的仅有数千。不难想象啊，因为经过专业培训的西班牙斗牛士们还经常会出事，何况和牛一样也没见过这种阵式的唐军？荒唐啊荒唐。总结一下，不提房琯任命的人合不合适，也不管他总体战略如何，单说这一战，最大的错误在于战术不对，雪上加霜的是错用了牛——战国时田单败燕，用火牛阵用的就是这股乱劲，而房琯这次用牛车阵，却乱了自己。这是房琯东征的首战，首战很影响士气，这一仗失败，不但带来兵力上的损失，在士气上也是个打击。可以想象一下，如果你是当时唐军中的某个士兵，一想到有个荒唐的主帅在带队，是不是很泄气呢？十月二十三日，房琯亲自率领南军与叛军作战，又被杀得大败，杨希文和刘贵哲都投降了叛军，这是南、中二军的主将，他们投降了，仗也就别提再打了。至此，房琯东征宣告失败。
战败之后，房琯等人“奔赴行在，肉袒请罪”。肃宗得知大败的消息，十分愤怒。想来肃宗也没想到房琯会用这么个战术，而肃宗可不像房琯那么理想主义，以为牛车真能取胜，从肃宗让王思礼辅助房琯来看，他比房琯更有战争的头脑，只可惜王思礼没派上用场。肃宗听说败的情形，自然十分郁怒，幸好有了李泌的营救，肃宗才赦免了房琯。不知李泌是怎么说的，居然说动肃宗像原来那样对待房琯，所以房琯要想取代李泌在肃宗心目中的位置实在太难了。
《旧唐书》上有一段，讨论了房琯为什么失败：“管好宾客，喜谈论，用兵素非所长，而天子采其虚声，冀成实效。管既自无庙胜，又以虚名择将吏，以至于败。管之出师，戎务一委于李揖、刘秩，秩等亦儒家子，未尝习军旅之事。管临戎谓人曰：‘逆党曳落河虽多，岂能当我刘秩等？’及与贼对垒，管欲持重以伺之，为中使邢延恩等督战，苍黄失据，遂及于败。”有些事情我们前面已经说过，再补充几句。《旧唐书》的看法是，房琯喜欢高谈阔论，未免轻浮，用兵并非是他的长处，所以皇帝听他虚夸的厉害便任用他，自然难有什么作用；房琯本人又不会择将吏，选的都是徒有虚名的人，出师之后把事情都交给不习军事的儒生，再加上交战之际本是要持重以待，却被宦官邢延恩等人催促交战，仓惶之中失去自己的根基，所以才会惨败。《旧唐书》是在后面交待了这里面“中人邢延恩”的作用，通鉴中却未涉及。房琯本打算持重，牛车阵也确实需要持重，如果真的坚持下去，面对敌军时，也许不会一下子就大乱起来，但叛军终究还是会赢，就算这一战不败，早晚他的牛车阵也是个事。邢延恩的催战，无疑使失败提前来到。虽说宦官监军又让人郁闷了一把，不过房琯的东征也是早一些结束的好，如果一直这么打下去，伤亡惨重都是无法避免的，但唐朝的粮草——灵武也好，顺化也好，彭原也好，粮食还是节省些好。
房琯回来之后，常常称病不朝，对政事也变得懒于过问，大概是受到了打击。另外，他不上朝，每天与刘秩、李揖等人高谈佛老，说些释氏因果、老子虚无的东西，有时还听听门客董庭兰的琴声，或招集琴客来大排筵宴。未败之前房琯也有空谈的爱好，好像惨败之后，连“以天下为己任”的劲头也没有了。颜真卿当时弹劾何忌不孝，而何忌恰好是房琯空谈一派，所以房琯不想太让他没面子，就以他酒醉入朝为借口，贬为西平司马。更糟糕的是，董庭兰因为朝官们往往通过他谒见房琯，所以开始弄权谋利，大收贿赂。有司又弹劾董庭兰受贿，房琯十分不理智的在肃宗气头上入朝向他说明情况，被肃宗“叱出之，因归私第，不敢预人事”。这时谏议大夫张镐上疏，说房琯是朝中大臣，他的门客受赃，与他无关，不应该因这件事连累他。至德二年五月，将房琯贬为太子少师，以张镐代替他为宰相。
后来房琯再也没有像在顺化、彭原的时候受到肃宗看重了。最后死于广德元年，时年六十七岁，死后赠太尉。
杜甫传中则说至德二年春因房琯罢相，杜甫上书言房琯有才，不宜罢相之事而被贬，似乎时间上有出入，而且杜甫传说还写肃宗一怒之下，“贬管为刺史，出甫为华州司功参军”。杜甫确实是被贬了，而房琯则没有被贬出去，当年十一月便随肃宗回到了长安。究竟哪个对？房琯确实被贬出去过，不过是乾元元年六月，时间上又有矛盾。这里我们还是相信房琯本传为好，因为杜甫传中是连他的官名都写错了的，应该是左拾遗，写成右拾遗了。
房琯之败，似乎在玄宗的预料之中。玄宗在蜀中的时候，和给事中裴士淹讨论宰相。那时肃宗在凤翔，每任命一个宰相，就报告给玄宗。一听到肃宗任房琯为将，玄宗说：“此非破贼才也。若姚元崇在，贼不足灭。”他很清楚房琯言过其实，有点赵括的意思，所以知道他破不了叛军。可见玄宗看人比肃宗要准啊，一眼便看到了房琯的不足之处。之后又讨论到其它人，说到宋璟的时候，玄宗说：“彼卖直以取名耳。”只怕这个评价会有些让人吃惊。大唐三百宰相，最有名的贤相就那么几个，有唐初的房玄龄、杜如晦，还有玄宗时期的姚崇、宋璟。看来玄宗对姚崇还是相当满意的，而宋璟也是善终，并未与玄宗有什么芥蒂，怎么玄宗会这样评价他呢？虽然玄宗这话绝非称赞，也微微透露出一丝不满，却并不激愤。《新唐书》评价宋璟就是“宋璟刚正又过于崇，玄宗素所尊惮，常屈意听纳……善守文以持天下之正。”有时他的“正”也确有取名的嫌疑。宋璟的问题还是就此打住吧。玄宗又接连历评了十余人，都十分得当。评到李