司徒霸与光素旧，欲屈光到霸所语言，遣使西曹属侯子道奉书，光不起，於床上箕踞抱膝发书。读讫，问子道曰：“君房素痴，今为三公，宁小差否？”子道曰：“位已鼎足，不痴也。”光曰：“遣卿来何言？”子道传霸言，光曰：“卿言不痴，是非痴语曲也。天子徵我，三乃来。人主尚不见，当见人臣乎？”子道求报，光曰：“我手不能书。”乃口授之，使者嫌少，可更足。光曰：“买菜乎？求益也。”霸封奏其书，帝笑曰：“狂奴故态也。”车驾即曰幸其馆，光卧不起，帝即卧所，抚其腹曰：“咄咄子陵，不可相助为理邪？”光又眠不应。良久，乃张目而言曰：“昔唐尧著德，巢父洗耳。士故有志，何至相迫乎？”帝曰：“子陵，我竟不能下汝邪？”於是升舆，叹息而去。复引光入论道，旧故相对累曰，因其偃卧。除为谏议大夫，不屈，乃耕於富春山。后人名其钓处为严陵濑焉。建武十七年，复特徵，不至。年八十，终於家。