初仕郡，举孝廉，除郎中。遭母忧，弃官行丧。服阕，刺史周景辟别驾从事，以谏争不合，投传而去。后公府辟举方正，皆不就。太尉李固表荐，征拜议郎，再迁为乐安太守。时，李膺为青州刺史，名有威政，属城闻风，皆自引去，蕃独以清绩留。郡人周，高洁之士。前后郡守招命莫肯至，唯蕃能致焉。字而不名，特为置一榻，去则县之。字孟玉，临济人，有美名。民有赵宣葬亲而不闭埏隧，因居其中，行服二十余年，乡邑称孝，州郡数礼请之。郡内以荐蕃，蕃与相见，问其妻子，而宣五子皆服中所生。蕃大怒曰：“圣人制礼，贤者俯就，不肖企及。且祭不欲数，以其易黩故也。况及寝宿冢藏，而孕育其中，诳时惑众，诬污鬼神乎？”遂致其罪。大将军梁冀威震天下，时遣书诣蕃，有所请托，不得通，使者诈求谒，蕃怒，答杀之，坐左转脩武令。稍迁，拜尚书。