史万岁是京兆杜陵人,父亲史静,力北周沧州刺史.史万岁“少英武,善于骑射,骁勇敏捷如飞：好读兵书,并且精于占卜.十五岁时,正赶上北周和北齐战于洛阳城北之北芒山.史万岁当时随父从军,双方旗鼓正相望时,史万岁命令左右迅速换装离去.不久,周军果然打败.他的父亲因此对他感到很谅异.
尉迥作乱的对候,史万岁随梁士彦前往征讨.军队驻扎在冯翊,看见有群雁飞来,史万岁对梁士彦说：“请让我射杀雁行中第三只”.发弓射去后,雁应弦而落.三军无不心悦诚服：等到与尉迥军相遇,史万岁每战必身先士卒,邺城之战,官军初战不利,稍稍退却,万岁对左右的人说.情势危急．我去破敌”于是飞马奋勇击杀,连杀几十人.在众人的齐心协力下,官军士气复振.平定尉迟迥后,史万岁因功被授予为上大将军.
大将军尔朱绩谋反被杀而受牵连,万岁深受牵连,犯罪除名,发配敦煌为戍卒.敦煌戌主很勇武,常单骑深入突厥境内,夺取羊马,总能大有收获.突厥人无论多少都不敢抵挡.这个人非常自负,多次辱骂史万岁.史万岁非常忧虑．于是说自己也精于骑射.戍主尝试着让他骑马射箭,见果有功底,笑着说：“小人也一定能这样”.史万岁请要弓马,又单骑驰马入突厥境内,夺取六畜而归.戍主这才开始对史万岁友善．常与他同行,总是深入突厥境内数百里,名振北夷.窦荣定攻打突厥的时候,吏万岁到辕门请求效命.荣定多次听说他的名声,见后非常高兴.于是派人对突厥曰：“士卒有什么罪过,让他们互相攻杀,应当各派一名壮士一决胜负罢了.”突厥许诺,于是派一骑兵挑战.荣定派万岁出来应战,万岁纵马斩那人的头颅首而还.突厥大惊,不敢再战．于是引军而去.因此被授予上仪同,兼任车骑将军.平陈的战役,又因功加封上开府.
等到高智慧等在江南作乱时,万岁以行军总管身份跟随杨素征讨他们.万岁率众二千,从东阳别的道路进军,翻山越海,攻陷的溪洞不可胜数.前后七百多次战斗,转战一千多里,中间没有音信十旬,远近的人都人人为万岁全军覆没.万岁因为水陆阻绝,信使不通,于是放置书信在竹筒中,让它在水上漂浮.打水的人得到了．告诉了杨素.杨素很高兴,上奏他的事.高祖赞叹,赐给他家钱十万,回朝后拜为左领军将军.
开皇末年,突厥达头可汗侵犯边塞,皇上让晋王广及杨素从灵武出师,汉王谅和史万岁从马邑出师.史万岁率柱国张定和、太将李药王、杨义臣等出塞,到大斤山,与突厥相遇.达头派使者问：“隋将是谁?”侯骑报称：“史万岁也.”突厥又问曰：“莫非是那个敦煌戍卒吗?”候骑曰：“是.”达头听了,害怕而领兵退去.