王浑，字玄冲，太原晋阳人也。王浑深沉儒雅有器量。承袭了父亲京陵侯的爵位，被封为大将军曹爽的属官。曹爽被杀后，按照惯例，他也被免了官。后来起用为怀令，参管文帝安东军事，逐渐升迁为散骑黄门侍郎、散骑常侍。咸熙年间任越骑校尉。武帝接受封禅，加封王浑为扬烈将军，迁任徐州刺史。当时遇上灾荒饥饿，王浑开仓振济，百姓依赖他。泰始初年，增加封邑一千八百户。一段时间后，迁任东中郎将，监理淮北诸军事，镇守许昌。屡次陈述治国方略，意见多被采纳。

等到大规模讨伐吴国，王浑率军队从横江出兵，派遣参军陈慎、都尉张乔攻打寻阳濑乡，又攻击吴牙门将孔忠，都打败了他们，俘获吴将周兴等五人。又派遣殄吴护军李纯占据高望城，讨伐吴将俞恭，打败了他，斩杀俘获很多。吴国的历武将军陈代、平虏将军朱明恐惧而来投降。吴丞相张悌、大将军孙震等人率兵数万向城阳进发，王浑派遣司马孙畴、扬州刺史周浚打败了他们，在阵前杀死两员将领，并斩首七千八百人，吴人十分恐惧。

转任征东大将军，又镇守寿阳。王浑不崇尚刑法，处事决断公正。当时吴人刚刚归附，很是有畏惧之心。王浑安抚外乡人，诚心安慰接纳，座上没有空着的席位，门前没有滞留的宾客。于是江东人士没有不心悦诚服的。