河南地处黄河中游，饱受河水泛滥之苦。
暴戾无常的黄河吞噬了众多百姓的生命，淹没了广袤的土地，卷走了无数的房舍和庄稼。每当河水暴虐，大堤决口，于谦最重要的工作除了赈灾就是治水。于谦到黄河水患的重灾区开封一带，巡视黄河沿岸；农闲之时，他率领军民修筑大堤；在堤岸上植树，以固堤坝；
每五里设一岗亭，遣专人巡守，遇有塌损，即时修补。于谦常常心怀虔诚，祷告河神，希望以自己的诚意消弭灾患。
于谦想借助神的力量来制服这条总是挣脱大堤束缚的长龙，于是决定在黄河最易决堤的开封城郊铸一只铁犀牛，以使波涛永息，一方安澜。
镇河铁犀铸成后，于谦撰写了《镇河铁犀铭》，镌刻于犀背上。
铭曰：
百炼玄金，镕为真液。变幻灵犀，雄威赫奕。振厥堤防，波涛永息。安若泰山，固若盤石。水怪潜形，冯夷敛迹。城府坚完，民无垫溺。雨顺风调，男耕女织。四时循序，百神效职。亿万闾阎，措之枕席。惟天之休，惟帝之力。亦尔有庸，传之无极。
后世的河南百姓为了纪念于谦的功绩，就在铁犀所在处盖了一座回龙庙，也称铁犀庙，铁犀被置于回龙庙内。回龙庙建成后，每年农历四月初八为回龙庙会，庙会香火持续三天，大戏不断，热闹非凡，在开封颇有影响。
浙江杭州西湖南岸三台山的于谦祠墓里，有一尊威武雄壮、周身乌黑、鼻端生角、独角朝天、双目炯炯的铁犀牛，这尊铁犀就是根据开封铁犀复制的。
洪灾、旱灾、霜灾带给河南、山西两省的伤害还未痊愈，蝗灾又来了。宣德九年（1434）山西、河南、山东、两京等地大面积爆发蝗灾，如黑云压顶，遮天蔽日，赤地千里。
面对蝗灾带给百姓无边的灾难，于谦很焦急，他亲自到灾区，抚慰百姓，还带领下属到地里和百姓一起捕捉蝗虫。同时，他将遭受蝗灾的地域面积、受害人数、受害程度等据实上报给了朝廷，朝廷免去了十分之四的秋粮征收额度。宣宗朱瞻基还是一位比较清明的皇帝，人们把仁宗与他统治下的时代誉为“仁宣之治”。
每当自然灾害严重的年份，总有大批百姓吃不饱饭，饿死人是常有的事。为了活下去，百姓只得流亡乞讨，这就造成大批流民，成为社会的不稳定因素。
为了保全百姓的生命，让灾民不致饥饿而死，于谦殚精竭虑，采取了很多办法。首先，他设法保证官仓储备的充足，这样才能在灾荒岁月有足够的粮食赈济百姓。如正统二年（1437）河南所辖各府州县先是春旱伤麦，五月以来又是河水泛滥，庄稼颗粒无收，在征得朝廷的同意后，于谦将原定充军的粮米共计二十九万八千余石存留下来，以备赈济。同年，于谦还将河南布政司所收宣德十年以前负欠粮米及正统二年起运草束改折米麦，全部存留在受灾府县，预备赈贷。
其次，于谦创设了预备仓，施行平粜制度，就是先以官库钞物大量收买大户和中户的粮食，贮积在各地方预备仓内，遇到荒年，就减价粜给饥民。宣德五年（1430），于谦甫到晋豫，就遇黄河决堤，河南灾民无数，次年二月于谦就奏请于河南卫辉、新德等地置预备仓，收贮秋粮，以备凶年赈济灾民。此后，这一做法陆续在两省其他地方推广。
再次，于谦命令各县设置两仓，即“尚义仓”（也称“义仓”）和“平准仓”（也称“平仓”）。“尚义仓”就是收贮地方贤良捐输粮谷的仓储；“平准仓”就是收贮丰年低价买进，凶年再以昔日低价卖出的粮食仓库。此举旨在调动社会力量协助官府做好赈济灾民的工作。对于那些乐于赈灾济民的社会贤良，于谦予以嘉奖，并在仓前立碑勒名，镌刻上捐资输粮者的姓名以及捐献的数量；捐二百斤以上者还给予冠带，贱价平粜过千百石者就给以建坊立匾，免除捐资输粟的一家各色差徭冗役，以此奖励和回报。于谦多次带头捐纳自己的薪俸，赈济灾民。
安顿流民是另一项重要工作。在饥荒的年月，于谦命令县官于每里中选忠正耆老两人，协同里甲，照旧日册籍，查计人口，给予饥民粟谷银钱。同时又命县官时刻稽查，不许里甲作弊徇私。还通告各县如有别省饥民流亡到来，就允许他们在当地就食度日，不许将流民驱逐出境。他还将闲田及河水退后之滩田提供给没有土地的逃民耕种，而对于那些贫困无食者则由官府直接赈济。于谦此举使得数十万的流民赖以存活，并且能够安居乐业，从而缓和了社会矛盾。
