祖作亭长时，曾经请假回家。吕后与两个孩子在田间除草，有一老人路过，要些水喝，吕后就请他吃了饭。老人给吕后相面，说：“夫人是天下的贵人。”吕后让他给两个孩子看相。老人看了孝惠，说：“夫人所以显贵，就是这个孩子的缘故。”看了鲁元，也是贵相。老人已经走了，高祖正好从别人家来到田间，吕后告诉他一位客人从这里经过，给我们母子看相，说将来都是大贵人，高祖问老父在哪儿。吕后说：“走出不远。”高祖追上了老人，向他询问。老人说：“刚才相过夫人和孩子，他们都跟你相似，你的相貌，贵不可言。”高祖便道谢说：“如果真像老父所说，决不忘记对我的恩德。”等到高祖显贵，竟然不知道老人的去处了。

高祖做亭长，以竹皮为帽，这帽子是他派求盗到薛县制做的，经常戴着它。等到显贵时，仍然常常戴着，所谓“刘氏冠”，就是指这种帽子。