张九龄又与中书侍郎严挺之、尚书左丞袁仁敬、右庶子梁升卿、御史中丞卢怡结交友善，挺之等有才干，而交道终始不渝，甚为当时之所称。
开元二十二年五月张九龄迁升中书令集贤院学士知院事修国史，
开元二十三年加封为金紫光禄大夫，累官封他为始兴县伯，食邑四百户。
李林甫自己不学无术，因为张九龄的品行被皇帝赏识，心里非常妒忌他，于是推荐牛仙客担任知政事，张九龄多次说不行，玄宗因此不高兴。
唐玄宗被李林甫的谗言所惑，玄宗遂于开元二十四年迁九龄为尚书右丞相，免去了知政事，后来宰相每次推荐公卿时，皇上一定会问：
“节操、品质、度量能够像张九龄吗？”
旧例，士大夫者要把笏板插在腰带上，然后乘马，张九龄体弱，常派人拿着笏板，朝廷于是设立了笏囊。
笏囊的设立，从张九龄开始，罢相后不久又因他荐举的监察御史周子谅弹劾牛仙客，触怒玄宗，坐“举非其人”，张九龄被贬为荆州长史。