史载杨坚出自关中高门弘农杨氏，自称是东汉太尉杨震十四世孙，其四世祖杨元寿被北魏任命为武川镇司马。
其父杨忠跟随北周文帝宇文泰起义关西，因功赐姓普六茹氏，官至柱国、大司空，封随国公。
死后追赠太保，谥号桓。不过据陈寅恪的考证，杨坚家族可能是山东寒族，其弘农杨氏的身份应出于伪托；而所谓杨元寿留镇武川亦是宇文泰为笼络部下感情而虚构之事。
西魏大统七年六月癸丑夜，杨忠之妻吕氏于冯翊般若寺生下了杨坚，据说当时紫气充庭，《隋书》记载。
当时有一个尼姑对吕氏说，杨坚此人不可与常人一样抚养，所以尼将杨坚带到别馆，亲自抚养，幼年的杨坚为人深沉少言，刚刚进入太学的时候，即使是十分亲密的人也不敢戏弄。
西魏恭帝二年杨坚十四岁时，京兆尹薛善征辟他为功曹，翌年因为其父杨忠的功劳被授为散骑常侍、车骑大将军、仪同三司，封成纪县公。
西魏恭帝四年封为骠骑大将军，加开府，北周武成元年北周明帝即位，授杨坚为右小宫伯，进封大兴郡公。
武成二年周武帝宇文邕即位，杨坚任小宫伯，出任为随州刺史，进位大将军。后来被调任京城，在其母身边侍疾三年，昼夜不离左右，都称他纯孝。
当时宇文护执掌朝政，非常忌惮杨坚，多次想要谋害他，幸而有大将军侯伏、侯寿等人的保护才得以幸免。
天和三年父亲杨忠死后，杨坚承袭随国公的爵位，周武帝聘杨坚的长女杨丽华为皇太子妃，对杨坚更加礼重。
齐王宇文宪曾对武帝说普六茹坚相貌非常，我每次见到他，都不觉自失，我怕他不会久居人下，要早早地除掉他。
武帝说杨坚此人只可以作为一个将领，内史王轨突然对武帝说皇太子赟将来并非社稷之主，普六茹坚貌有反相。
武帝十分不悦说帝王自有天命在，旁人又能奈何，杨坚知道后十分畏惧，行事小心谨慎，以韬光养晦。
建德四年杨坚率水军三万，于河桥大败北齐的军队，建德五年杨坚跟从周武帝亲征平齐，进位为柱国，与齐王宇文宪一起在冀州大破齐任城王高湝，被封为定州总管，很快又转任亳州总管。
宣政元年六月周武帝宇文邕死后，太子宇文赟即位，杨坚的长女杨丽华被封为皇后，杨坚因为是皇后之父又晋升为柱国大将军、大司马。
大象初年，杨坚官任大后丞、右司武，很快转任大前疑，周宣帝每次外出
…。。