甫是义阳王李琮的曾外孙，而李琮又是唐太宗的孙子。
这么数下来，杜甫跟李守确实同辈，而且李守虽然不认识杜甫，但其实杜甫却认识这位长安抖男。
后人说起杜甫，从他的诗里看去似乎一生贫困潦倒，但实际上杜甫是个典型的官三代。
他的祖父名叫杜审言，是唐代近体诗的奠基人之一，与李峤、崔融、苏味道合称“文章四友”，做官做到了修文馆直学士。不过杜审言名字虽然起得是“审言”但平时说话却一点都不谨慎，不知不觉就会得罪很多人，而且他为人有些轻狂，不太受同僚的喜欢，在吉州任职的时候就遭到了周季重等人的陷害而关入大狱，被判死刑。
但接下来发生了一件传奇般的故事，轰动了整个大唐，也让杜家声名鹊起。
那就是杜审言的二儿子杜并，为了替父亲报仇他居然潜入了周季重的府邸将其杀死了！
周季重身边也有侍卫，他们也不是吃素的，所以又把仅有十六岁的杜并给杀了。
这件事情在当时轰动朝野，如果放在现在，杜并就是典型的扰乱司法的刑事犯，但在崇尚忠孝的古代社会，杜并的这种行为不仅没被指责，还成了孝子的典范，尤其后来事实证明杜审言无罪的情况下。
当时的许国公苏颋就深受此事感动，亲自为杜并作墓志铭，武则天闻听此事后更是把杜审言召入京师封为京官。
杜甫的父亲杜闲，官至朝议大夫、兖州司马。
童年和少年时的杜甫家境相当不错，由于母亲是崔氏的缘故，所以他能经常出入长安城里的贵族宅邸，从他的《江南逢李龟年》里也能看出，“岐王宅里寻常见，崔九堂前几度闻。”
无论岐王还是崔九都是当时一等一的贵族，但杜甫能够“寻常”“几度”的去，足以说明他们家当时的地位。
家庭优渥的情况下杜甫自然吃穿不愁，对于科举也就不怎么用心，反而能够到处游历，直到他父亲去世。
这时候的杜甫家境便开始走下坡路，他也意识到自己必须踏入仕途才能解决一家老小的温饱问题，于是杜甫便在长安参加了科举考试。