四方的人非常仰慕他，一时间，名噪京城，他还写了一篇《山居赋》并自己进行注释，以记述这些事。
景平二年刘义隆登基为帝，元嘉三年诛杀权臣徐羡之等人，随后调任谢灵运为秘书监，但两次召见，谢灵运都没理睬。
刘义隆派光禄大夫范泰写信给谢灵运称赏他，他才应召就任，皇帝叫他整理秘书省的书籍，补增遗漏的地方，又因为有晋一代没有一本完整的史书，所以叫谢灵运写一本《晋书》。
他写出粗略提纲，但这书终究没有写成，不久又升任侍中，每天早晚被召见，很得文帝的宠爱。
谢灵运的文章书法都独步当时，他每次作文，都亲笔抄录，文帝称他的文章和墨迹为二宝。
既然自己是名人，谢灵运觉得自己应该参与朝政，开始被召见时，便这样自许，但召见之后，文帝却只把他当成一个文人而已。
他每次和文帝在一起喝酒时，文帝不过让他谈论诗文而已。