为了完善我国农村金融服务体系，更好地支持农业和农村经济的发展，1994年4月19日，中华人民共和国国务院发布了《关于组建中国农业发展银行的通知》，并批准了银行的章程和组建方案。
1994年6月30日，中国农业发展银行正式接收了中国农业银行和中国工商银行的农业政策性信贷业务，接手了总额达2592亿元的贷款。同年4月底，银行完成了省级分行的组建。接着，在1996年8月至1997年3月，按照国务院《关于农村金融体制改革的决定》，增设了省以下的分支机构，构建了较为完善的机构网络。
1998年，国务院决定将部分农村扶贫、农业综合开发和粮棉企业附营业务贷款业务转移至其他国有商业银行，农业发展银行自此专注于强化粮棉油收购资金的封闭管理。
进入2004年，中国农业发展银行的业务范围开始扩展。首先，根据国务院粮食市场化改革的指导，银行的贷款对象扩大至所有制的粮棉油购销企业。其次，2004年9月，银监会批准农发行开展粮棉油产业化龙头企业和加工企业贷款。接着，2006年7月，农发行的业务进一步扩大，包括农业科技贷款。2007年1月，银监会又批准了农发行提供农村基础设施建设、农业综合开发和农业生产资料贷款。至此，农发行形成了以粮棉油收购信贷为核心，农业产业化信贷和农业中长期信贷为两翼的多元化业务格局。
中国农业发展银行是根据中华人民共和国国务院1994年4月19日发出的《关于组建中国农业发展银行的通知》（国发199425号）成立的国有农业政策性银行，直属国务院领导。