尚书令王肃曾经在官署中吟咏《悲平城诗》道“悲平城，驱马入云中。阴山常晦雪，荒松无罢风。”彭城王元勰十分慨咀叹这诗的优美，想叫王肃再次吟咏，竟然失言说：“您可否再为我吟咏《悲彭城诗》吗?”王肃于是开玩笑地对元勰说：“为什么把《悲平城》说成《悲彭城》呢?”元勰面有惭愧之色。祖莹当时在座，马上说道：“《悲彭城》一诗，王公自然没有听说过。”王肃说“可以读给我听听。”祖莹应声答到：“悲彭城，楚歌四面起。尸积石粱亭，血流睢水里。”王肃高度赞叹并欣赏这首诗。元勰也非常高兴，退到出来后对祖莹说：“您的口才真是如有神助，今天要不是您在场，差不多要被吴地的才子屈辱。”升为车骑大将军。等到出帝登基，祖莹以太常行礼，被封为文安县子。

天平初年(534～535)，都将迁邺，齐献武王就此事召见祖莹讨论。因功迁升仪同三司，晋爵为伯。逝世，朝廷赠他为尚书左仆射、司徒公、冀州刺史。

祖莹凭看自己的文章和博学被重用。他常对人说：“文章一定要自出心裁，形成独特的风格，怎么能与别人相同呢?”他大概是讥讽社会上有些人喜欢剽窃他人的文章为己所用。而且在祖莹的文书中也不缺乏天才之作，只是这些作品水平不齐，好的和不够好的兼而有之，他的文章体裁比袁翻、常景二人要差。祖茔性格豪爽有侠义，有节气，文士有生活贫困，想依附他，祖莹一定抚恤和救济他们，当时的人们也因此称赞他。