有一天高宗退朝后，宣召长孙无忌、李世、于志宁、褚遂良进入内殿。褚遂良说：“今天皇上宣召，多半是为了后宫的事，皇上的主意既已定了，违抗者必是死罪。太尉是元舅，司空是功臣，不可以让皇上承担杀元舅与功臣的不好名声。我褚遂良乃是自平民起家，没有汗马功劳，到了今日这个地位，而且接受先帝托孤，不以死谏诤，无颜去见先帝!”李世称病没去内殿。无忌等人到了内殿，高宗对他们说：“皇后没有子嗣，武昭仪有，如今朕想立武昭仪为皇后，你们看怎么样?”褚遂良答道：“皇后出身名家，是先帝为陛下娶的。先帝临死的时候，拉着陛下的手对我说：‘朕的好儿子好儿媳，如今就交付给你了。’这些话都是陛下亲耳听到的，言犹在耳。未听说皇后有什么过错，怎么能够轻易废掉呢!我不敢曲意顺从陛下，以违背先帝的遗愿!”高宗十分不高兴，只好作罢。第二天又言及此事，褚遂良说：“陛下一定要更换皇后，我请求遴选全国的世家望族，何必非武氏不可。武氏曾经侍奉过先帝，这是众所周知，天下人的耳目，怎么能遮掩呢?千秋万代之后，人们又将怎么评价陛下呢?愿陛下三思而后行!我今日触怒陛下，罪该处死。”说完将朝笏放在殿内台阶上，解下头巾磕头直到血流满面，说道：“还给陛下朝笏，乞求放我回老家去。”高宗勃然大怒，命人将他带出去。武昭仪在隔帘内大声说道：“何不就地杀了这老东西!”长孙无忌说：“褚遂良是先朝顾命大臣，有罪也不可以加刑。”于志宁不敢说话。