当时改革朝政的弊病，全都由杨绾决断，他多次上奏请求辞位，代宗多次下诏回绝，等到杨绾病重时，代宗每天派遣宦官前往询问病情，并命御医在其身旁时刻守候，每次听说他的病有起色，代宗便喜形于色。
杨绾病逝，享年六十岁，前来探望的宦官急驰回宫奏报，代宗闻讯后，惊愕悲悼许久，为他辍朝三日，并下诏追赠杨绾司徒。代宗又命文武百官前往杨绾的宅第，与朝廷特派的内常侍吴承倩会同吊唁他，并赐其家绢千匹、布八百端。代宗对杨绾的猝逝非常惋惜，对朝臣们说：“上天不让朕致力于太平，为什么将朕的杨绾夺走这样快。装殓之时，朕与众卿悲痛哀悼之情正同啊。”宰相死后受到如此恩遇，长久以来少有人能与杨绾相比。
太常最初为杨绾拟定的谥号为“文贞”，但宰相常衮平素便忌恨杨绾得到代宗宠任，至此时更唆使比部郎中苏端上疏大肆诋毁杨绾，代宗发怒，将苏端贬为广州员外司马，仍谥杨绾为“文简”，下葬长安少陵南岗。