杨炎与卢杞在唐德宗时一度同任宰相。卢杞的爷爷是唐玄宗时的宰相卢怀慎，以忠正廉洁著称，从不以权谋私，清廉方正，是位颇受时人敬重的贤相。
他的父亲卢奕也是一位忠烈之士。卢杞在平日里不注意衣着吃用，穿得很朴素，吃得也很一般，所以人们都以为他有祖风。其实卢杞本人是一个善于揣摩上意，很有心计，貌似忠厚实则奸诈的人。
卢杞除了巧言善辩，别无所长，他嫉贤妒能，脸厚心黑。但大奸似忠，卢杞靠着左右逢源的溜须拍马之道，很快就由一名普通的官员爬上了宰相的宝座。
与卢杞同为宰相的杨炎，是中国历史上著名的理财能手，他倡导的“两税法”对缓解当时中央政府的财政危机立下了汗马功劳。后来的史学家评论他说：“后来言财利者，皆莫能及之。”杨炎确实是个干练之才，受到时人的尊重和推崇。
此外，杨炎与卢杞在外表上也有很大不同，杨炎是个美髯公，仪表堂堂。卢杞脸上却有大片的蓝色痣斑，相貌奇丑，形象猥琐。
然而，博学多闻，精通时政，具有卓越政治才能的杨炎，虽然有宰相之能，却没有宰相之度。尤其是在处理与同僚的关系上，他恃才傲物，目中无人，特别是对卢杞这样的小人，他压根儿就没放在眼里。两人同处—朝，共事一主，但杨炎几乎不与卢杞有丝毫往来。按当时制度，宰相们一同在政事堂办公，一同吃饭：杨炎因为不愿与卢杞同桌而食，便经常找个借口在别处单独吃饭。
相貌丑陋内心自卑的卢杞怀恨在心，便先找杨炎手下亲信官员的过错，并上奏皇帝。杨炎因而愤愤不平，专门找卢杞质问道：“我的手下人有什么过错，自有我来处理，如果我不处理，可以一起商量，你为什么瞒着我暗中向皇上打小报告!”弄得卢杞很下不来台。于是，两个人的隔阂越来越深。
卢杞千方百计地要报复杨炎。他深知自己不是进士出身，又面貌奇丑，才干更是无法与杨炎相比，所以明着来肯定不行，于是他决定寻找机会下绊子。
不久，机会终于来了。节度使梁崇义背叛朝廷，发动叛乱，德宗皇帝命淮西节度使李希烈前去讨伐。杨炎不同意重用李希烈，认为此人反复无常，对德宗说：“李希烈这个人，杀害了对他十分信任的养父而夺其职位，为人凶狠无情，他没有功劳都傲视朝廷，不守法度。若是在平定梁崇义时立了功，以后就更不可控制了。”
然而，德宗已经下定了决心，对杨炎说：“这件事你就不要管了。”哪知，不会察颜观色的杨炎并不把德宗的不快放在眼里，还是一再表示反对用李希烈，这使本来就对他有点不满的德宗更加生气了。
凑巧的是，诏命下达之后，赶上连日阴雨，李希烈进军迟缓，德宗又是个急性子，就找卢杞商量。卢杞知道这是扳倒杨炎的绝好时机，便对德宗皇帝说：“李希烈之所以拖延徘徊，正是因为听说杨炎反对他的缘故，陛下何必为了保全杨炎的面子而影响平定叛军的大事呢?不如暂时免去杨炎宰相的职位，让李希烈放心。等到叛军平定以后，再重新起用，也没有什么大关系!”
这番话听上去完全是为朝廷考虑，也没有一句伤害杨炎的地方。德宗皇帝果然信以为真，就听信了卢杞的话，免去了杨炎的宰相职务。就这样，杨炎莫名其妙地丢掉了相位。
从此卢杞独掌大权，杨炎可就在他的掌握之中了，他自然不会让杨炎东山再起的，于是常找茬儿整治杨炎。
本来“惹不起躲得起”，可杨炎明知道卢杞是个得罪不起的小人，“惹不起”偏不“躲”，为了芝麻粒儿大的小事，犯了卢杞内心自卑的忌讳，最后遭到了卢杞的暗算。