颜延之有个爱姬，没有这个爱姬在跟前他便吃不饱，睡不安。爱姬凭着得宠，曾经摇荡颜延之，以致使他从床上掉下来摔伤，颜竣便杀死了她。颜延之痛惜至极，常常坐在灵柩上哭着说：“是贵人杀了你，不是我杀了你。”有一次冬天在灵位前哭着，忽然看见妾推倒屏风来压颜延之，颜延之害怕地坠落在地上，于是生了病。孝建三年(456)死去，年纪七十三岁。赠为特进，谥号为宪子。

颜延与陈郡谢灵运共以辞采齐名，而速度快慢悬殊。文帝曾经分别下令让他们拟作乐府《北上篇》，颜延之受到诏令便作成了，谢灵运好久才写就。颜延之曾问鲍照自己与谢灵运两人的优劣怎样，鲍照说：“谢的五言诗如初开的芙蓉，显得自然可爱。您的诗像铺展的锦绣，也是彩绘满眼。”颜延之常常贬斥汤惠休的诗，对别人说：“惠休的作品，只是里巷中的歌谣罢了，看来要贻误后生。”当时谈论的人认为颜延之、谢灵运两人自从潘岳、陆机以后，文士无人能赶得上，江右最称道潘、陆，江左最称道颜、谢。