陈蕃十五岁时，曾住一室，无事可做，而室内外十分肮脏，父亲的朋友同郡人薛勤来看他，对陈蕃说：“小孩子，为什么不打扫清洁迎接客人呢？”陈蕃说“：大丈夫在世，应当扫除天下的垃圾，哪能只顾自己一室呢？”薛勤知道他有澄清天下的志气，非常赞赏他。

最初，在郡里出仕，被推举为孝廉，授郎中。因母亲去世，辞官居丧。服丧期满，刺史周景召他为别驾从事，因劝谏意见不一，弃符离去。后来公府征举方正，都不去。太尉李固上表荐举他，授议郎，再升为乐安太守。这时，李膺任青州刺史，治政严，有威名。属城听了消息的，都自己要求离去，陈蕃因为政绩清廉，一个人留下来。郡人周趚，洁身自爱，前后郡守招请，不肯去。只有陈蕃能够招他去。陈蕃称他的字，不叫他的名，非常尊敬他。特别为他安一张床，周趚走了，就把床悬起来。老百姓赵宣葬亲不闭墓道，住在里面，服丧二十多年，乡邑都称他的孝行，州郡几次以礼请他。郡里把他推荐于陈蕃，问到他的妻子儿女，知道赵宣的五个儿女，都是居丧期间生的。陈蕃于是大怒说“：圣人制礼，有品行道德的人，都得遵守，不肖的人，也应该努力做到。并且祭祀不须次数太多，太多，反而不敬。你现在睡在墓中，在墓中养儿育女，欺世盗名，迷惑群众，污辱鬼神，岂有此理！”于是办了他的罪。

大将军梁冀是威震天下的人，当时派人送信给陈蕃，请陈蕃办私事。送信的人不得见，于是说假话请求见陈蕃，陈蕃发怒，把送信的打死了，因罪降为修武令。稍得升迁，被任为尚书。这时零陵、桂阳山贼为害，公卿研究要派军队去打，皇帝又诏令州郡，权宜推选孝廉、茂才。陈蕃上疏辨驳，说“：以前高祖创立大业，海内人民，如释重负，官吏抚养百姓，如同自己的儿子一样。现在二郡的老百姓，都是皇上的儿子，导致儿子们为害的原因，难道不是当地官吏贪污暴虐造成的吗？应该严厉责成三府，暗暗地考核州牧太守县令长，那些为政乖乱，残害百姓的人，立即向朝廷揭发，另选清正贤明、廉洁奉公，能够宣扬法令，爱护百姓的人去代替他们，这样可以不必烦劳大军，盗贼自然可以平息啊！又，三署郎官二千多人，三府里的属官超过规定限额还未加任用，只应该选择好的授予官职，那些昏庸不法的挑出来不要他们。这样，哪里还要您下诏权宜推举人才，因而助长请托的风气呢？”因这个得罪了皇帝身边的人，被外放为豫章太守。