不久之后，卢杞引荐严郢为御史大夫。严郢担任京兆尹的时候，由于不依附于杨炎，所以杨炎指使御史张著弹劾他，又提拔了与严郢有矛盾的源休为京兆尹。于是，卢杞想利用严郢与杨炎的积怨来打压杨炎。杨炎的儿子杨弘业不学无术，经常违法乱纪，私自接受别人的贿赂，被人告发，严郢审理此案时，顺藤摸瓜地查出了杨炎的其他罪行。杨炎在修建家庙时，请河南尹赵惠伯为他出卖东都的私宅，赵惠伯就把此宅买来作为官署。严郢认为赵惠伯是故意出高价买了杨炎的宅子，变相行贿。此外，更有流言蜚语说杨炎在王气的地方修建家庙，想要改朝换代。李适听说后勃然大怒，将杨炎流放，杨炎预感到前景不妙，写诗感叹：“一去一万里，千知千不还。崖州何处是，生度鬼门关。”在半路上，李适又下诏赐死杨炎，终年五十五岁。
贤臣刘晏和杨炎就这样相继死去，这两位大臣虽然有性格上的缺陷，但都力主改革，很有才干。在这之后，朝中的官员变动十分频繁，由于之前发生的叛乱和宦官专权留下了太多的阴影，所以李适经常猜疑，不敢过分相信别人，而且固执己见，但是疑人不用用人不疑，所以李适纵有一腔热血和宏图之志，也没能一如既往地执行下去。