于谦被任命为御史，待高煦出降，宣宗让于谦数落他的罪行，于谦正词崭崭，声色震厉，朱高煦在这位御史的凌厉攻势下，被骂得抬不起头，趴在地上不停地发抖，自称罪该万死。
宣宗大悦，当即下令派于谦巡按江西，平反数百起冤狱，于谦上书奏报陕西各处官校骚扰百姓，诏令派御史逮捕他们。
公元1430年，宣宗知道于谦可以承担重任，当时刚要增设各部右侍郎为直接派驻省的巡抚，于是亲手写了于谦的名字交给吏部，越级提升为兵部右侍郎，巡抚河南、山西。
于谦到任后，轻装骑马走遍了所管辖的地区，访问父老，考察当时各项应该兴办或者革新的事，并立即上书，一年上书几次，稍有水旱灾害，马上上报。
公元1441年，于谦上书说：
“现在河南、山西都积蓄了数百万斤粮食，请在每年三月份时，令府州县报上缺少食物的下等民户，然后按分额支给他们粮食，先给豆类和高粱，其次给小米和麦子，最后给稻谷，等秋收后偿还。
因年老有病以及贫困而不能偿还的则给予免除，州县官吏任期已满应当升迁的，如果预备粮不足，不能离任，还要命令风宪官员经常监察。”
皇上下令施行，河南黄河沿岸经常被洪水冲开缺口，于谦令加厚建筑堤坝，每个乡里都要设亭，亭设亭长，责令其督率修缮堤坝。
又命令百姓种树挖井，结果当地榆柳夹路，行人也不再受渴了。
大同孤立在塞外，按抚山西的官员常走不到，于谦请另设御史来治理，又把镇边将领私人开垦的田地全部收为官家屯田，以资助边防开支。
于谦的恩威远为流行，太行山的盗贼为此而不敢露面，除此之外于谦为官还十分清廉。
正统年初，杨士奇、杨荣、杨溥主持内阁朝政，都很重视于谦，于谦所奏请的事，早上上奏章，晚上便得到批准，都是“三杨”主办的。
到了“三杨”去世，太监王振开始掌权，作威作福，肆无忌惮地招权纳贿，百官大臣争相献金求媚。
每逢朝会期间，进见王振者，必须献纳白银百两，若能献白银千两，始得款待酒食，醉饱而归。
而于谦每次进京奏事，从不带任何礼品，有人劝他说：
“您不肯送金银财宝，难道不能带点土产去？”
于谦潇洒一笑，甩了甩他的两只袖子，说：
“只有清风！”
还特意写诗《入京》以明志：绢帕蘑菇
…。。