为由，表请罢官，翌年三月，改任洪州都督。
在洪州任上，张九龄写了《在郡怀秋》诗二首，表达了时不能用，忧郁思归的心情，其一为：
秋风入前林，萧瑟鸣高枝，寂寞游子思，寤叹何人知，臣成名不立，志存岁已驰，五十而无闻，古人深所疵。
平生去外饰，直道如不羁，未得操割效，忽复寒暑移，物情自古然，身退毁亦随。
悠悠沧江渚，望望白云涯，路下霜且降，泽中草离披，兰艾若不分，安用馨香为。
开元十七年，张说又被玄宗拜任尚书左丞相、集贤院学士，开元十八年一病不起，终于病逝。
张说多次推荐张九龄做集贤院学士，开元十八年，张九龄转任桂州刺史兼岭南道按察使摄御史中丞。
便道归省，与家人欢聚，开元十九年春，他从桂林乘船顺流巡行按察来到广州。
开元十九年三月，张九龄被召入京，擢秘书少监，兼集贤院学士副知院事。
他奉旨代撰敕文，对御而作，不须草稿，援笔立成，深为玄宗倚重。
在他的文集中，代皇帝起草的敕文多达114篇，两次升任他为中书侍郎。
开元二十年二月转为工部侍郎，兼集贤院学士，八月兼知制诰，张九龄时已55岁，屡乞归养。
玄宗对他加以重用，并不批准，只是把他弟弟张九皋、张九章就近家乡封官，以便照顾老母。
张九皋后官至广州都督兼五府节度经略使，张九章后官至岭南节度使、广州都督，都是统治岭南的封疆大吏。
开元二十一年五月，张九龄升任检校中书侍郎，十二月授中书侍郎同中书门下平章事兼修国史，主理朝政。
张九龄建议于河南屯田，引水种稻，遂兼河南稻田使，当时范阳节度使张守琏因为副将安禄山讨伐奚、契丹失败，捉拿护送他到京城，请求按照朝廷典章执行死刑。
顶点
张九龄奏明皇上说：“张守琏的军令一定要执行，安禄山不应该免除死罪。”
皇上特别赦免了他，张九龄上奏说：“
安禄山狼子野心，面有谋反之相，请求皇上根据他的罪行杀掉他，希望断绝后患。”
皇上说：“你不要因为王夷甫了解石勒这个旧例，误害了忠诚善良的人。”
于是唐玄宗放安禄山回到藩地，张九龄为中书令时，天长节百僚上寿，多献珍异，唯九龄进《金镜录》五卷，言前古兴废之道，上赏异之。
…。。