迁侍中、司徒。上疏让曰：“伏自惟省，昔阶谬恩，蒙忝非据，尸素累积而光宠更崇，谤讟弥兴而荣进复加，上亏圣朝栋隆之举，下增微臣覆餗之衅，惶惧战灼，寄颜无所。乞垂天鉴，回恩改谬，以允群望。”皇太后诏报不许。谟犹固让，谓所亲曰：“我若为司徒，将为后代所哂，义不敢拜也。”皇太后遣使喻意，自四年冬至五年末，诏书屡下，谟固守所执。六年，复上疏，以疾病乞骸骨，上左光禄大夫、领司徒印绶。章表十余上。穆帝临轩，遣侍中纪璩、黄门郎丁纂征谟。谟陈疾笃，使主簿谢攸对曰：“臣谟不幸有公族穆子之疾，天威不违颜咫尺，不敢奉诏，寝伏待罪。”自旦至申，使者十余反，而谟不至。