衍娶北地住氏女为妻，悍忌，不得畜媵妾，兒女常自操井臼，老竟逐之，遂壈于时。然有大志，不戚戚于贱贫。居常慷慨叹曰：“衍少事名贤，经历显位，怀金垂紫，揭节奉使，不求苟得，常有陵云之志。三公之贵，千金之富，不得其愿，不概于怀。贫而不衰，贱而不恨，年虽疲曳，犹庶几名贤之风。修道德于幽冥之路，以终身名，为后世法。”居贫年老，卒于家。所著赋、诔、铭、说、《问交》、《德诰》、《慎情》、书记说、自序、官录说、策五十篇，肃宗甚重其文。子豹。