段秀实，字成公，唐朝陇州阳人。祖父名达，曾任左卫中郎。父亲名行琛，做过洮州司马，因世袭之故，所以秀实获赠扬州大都督。秀实生性至孝，六岁时母亲生病，他废寝忘食的照顾，七天水浆不入口。母亲的病情稍有起色，自己才饮食。等到长大成人，个性沉厚有决断。
天宝四年，安西节度马灵，将秀实察署为别将，跟从他讨护蜜有功，授安西府别将。又从都将李嗣业，充任节度判官。
安庆绪造反，嗣业与诸军围剿之，嗣业为流矢所射中，卒于军中。秀实听闻嗣业之死，就写信给先锋将白孝德，令他发兵护送嗣业的遗体至河内。秀实并且亲率将吏哭等于境内，倾尽自己的私财以奉献葬事。元礼嘉奖他的讲义气，奏请朝廷试光禄少卿，依旧袭节度判官。
邙山之战败绩，军队迁徙翼城，元礼为麾下所杀，部下将佐亦多遇害，而秀实独以智计保全性命。大众公推白孝德为节度使，从此人心稍定。秀实又迁试光禄卿，为孝德判官。后孝德改镇邠宁，上奏秀实试太常卿、支度营田二副使。
不久大军西迁，所过之地大肆掠夺。又以邠宁一地缺乏粮食，路远难于馈运，于是请求军事支援奉天。可当时公廪也匮竭，各地县吏忧恐多数弃官逃匿，成群结党沦为剽窃盗贼，孝德人微言轻不能禁止。秀实私底下告诉他：「让我当军侯，就不会如此。」军司马一听就为他上言请求，于是朝廷以秀实为都虞侯，全权处理奉天行营事务，他号令严一，赏罚分明，军府安泰，代宗闻之嗟赏许久。等到大军还于邠宁时，仍然启用他为都虞侯，不久拜泾州刺史。
大历元年，马璘上奏加秀实为开府仪同三司。军中有一位大力士，能引二十四弓却犯窃盗罪者，璘爱其才想免除之，秀实曰：「为将者有私心，则法令不一，虽韩信、白起再生，也不会认为有理。」璘嘉许其建议，竟然依法杀之。璘处决事务有不合理者，秀实必坚定的据理力争之，一直得等到马璘认错才罢休。
刀斧将王童之因人心动摇，于是主导内乱。有人密告秀实其事，而且说：「等候适当时机，以警鼓响起为约定举事时刻。」秀实乃召来鼓人，表面上佯装怒其失节，并且告诫他说：「每更过后，必来禀报。」可值更人每次来禀报时，他往往故意拖延数刻，因此四更一过天就亮啦。既有如此差错，童之主导的内乱无法履行。
隔天，告密者又说：「今夜将焚烧草场，期望参加救火者一同参与作乱。」于是秀实令人严加警备。夜半果然大火发生了，秀实下令于军中：「谁参与救火者，斩。」童之居于外营，请求入内救火，秀实不许。第二天斩童之，捕杀其党徒凡十余人陪同殉葬，并说：「谁再敢步其后尘者，夷其九族！」于是大军平安迁至泾州。
八年，吐蕃来寇，战于盐仓，我军不利。璘为寇戎所拘，到日暮时分尚未返还，秀实把城中士卒未出战者悉数驱逐出来，使骁将统帅之，东面依古原摆开阵势，列奇兵方阵以警示贼寇将对其开战，并且到处收留败兵残卒整合之。吐蕃群众望之，不敢进逼。至夜，璘方才获得归营。十一年，璘病重，不能视事，请秀实摄节度副使兼左厢兵马使。
不久，朝廷拜秀实泾州刺史、兼御史大夫，四镇北庭行军泾原郑颖节度使。三四年间，吐蕃不敢犯塞，秀实领军治事清明俭约、平易近人，远近都称颂。非公众聚会，他绝不听乐饮酒，私人宅第绝无妓媵，更无赢财，公余之暇，端居内室静虑一己行事是否得当而已。德宗嗣位，就加检校礼部尚书、张掖郡王。
德宗四年，朱泚欲叛唐篡位，劫持文武百官拥护他，……隔天，朱泚召司农卿段秀实等商议大事，当时源休、姚令言、李忠臣、李子平等四人都在坐。此刻秀实一身军装与朱泚并膝而坐，当朱泚谈到欲僭位谋篡时，段秀实勃然大怒，奋力而起，顺手夺过源休手腕上的象牙笏，一跃而前，冲过去唾着朱泚的面，大骂：「狂贼，我恨不得将你千刀万剐、碎尸万段，哪里能跟随你一起谋反呢？」于是用笏板猛击朱泚，朱泚慌忙用手臂拦挡，还是被笏板击中额头，血流满面匍匐而逃。一时间，在场的叛党都被这一幕义正辞严、气冲斗牛的景象吓住了，谁也不敢动。而与秀实有约的海宾等人又没到。于是段秀实对他们说：「我是不会和你们一同谋反的，何不趁早赶快把我杀了！」话音一落，叛党凶徒见他果然人单势孤，就群起围攻，后来段秀实终于被杀害惨死。德宗在奉天听闻其事，痛惜自己不能委用适当人选，流泪垂涕良久。