段秀实字成公，本是姑臧人，他的曾祖父师浚，出任陇州刺史，留在那里没有回家乡，于是变为..阳籍人。秀实六岁时，母亲病重，他急得七天不吃不喝，母亲病情好转才肯吃饭，当时人们称他为“孝童”。到长大了，深沉忠厚，能决断，慷慨激昂有救天下的志向。被推荐为明经，他的朋友轻视他，秀实说：“搜章摘句，凭这本事不能为国立功。”就放弃了。

玄宗天宝四年(745)，跟随安西节度使马灵鮞征伐护蜜有功，任安西别将。

灵鮞罢官后，又跟随高仙芝。仙芝征伐大食，围困了怛逻斯城，碰到敌人救兵来了，仙芝的军队撤退，部下都失散了。秀实在暗夜中听到副将李嗣业的声音，认出他，就批评他说：“害怕敌人而逃跑，是不勇敢，为了自己脱险而让大家陷入危难，是不仁义。”嗣业听了很惭愧。于是与秀实召集逃散的士兵，又组成了军队，回到安西，请秀实任判官，接着升任陇州大堆府果毅。后随封常清征伐大勃律，驻扎在贺萨劳城，与敌人作战打胜了，常清追击败兵，秀实说：“敌人派出老弱的士兵，是引诱我方，请大规模搜索。”搜获了所有伏兵，敌人全军溃败。这之后，改任绥德府折冲都尉。