1978年，河南大學恢復研究生教育，為了加強對研究生工作的管理，河南大學在教務處設置了研究生科，負責研究生的招生與管理工作。隨著研究生招生專業的增多和規模的不斷擴大，1982年，研究生科調整至科研處；1985年，研究生處成立，設立了辦公室、招生科和學位培養科；1986年河南大學自籌經費建設了研究生樓，采取了教學、生活集中管理的模式。
為了加強研究生的思想政治工作，1998年5月，河南大學黨委決定在研究生處成立黨總支，集中管理全校研究生的思想政治工作。黨總支下設5個支部，包括1個教工支部，1個博士生支部，3個碩士生支部。從各院系分散管理到研究生處統一管理，這是河南大學研究生思想政治工作管理體制的一項重大改革。河南大學的研究生思想政治工作進一步得到加強，為提高研究生的思想政治素質發揮了重要作用。
2005年7月，經河南省人民政府批準，河南大學開始試辦研究生院，設立了綜合管理辦公室、學科建設辦公室、研究生招生辦公室、培養與學位辦公室、研究生教育與管理辦公室等5個科室；同年成立了校黨委研究生工作部，負責全校研究生的思想政治教育工作。研究生院的成立使學位與研究生教育的管理體制實現了重大轉變，過去的集中管理模式開始轉變為學?！獙W院(部、室、中心)二級管理、以院為主的管理模式，明確了研究生教育與管理工作中的職責和權力，賦予了研究生培養單位以更大的管理自主權。研究生院對全校學科規劃與建設、招生、培養與管理、學位評定與授予等工作進行宏觀管理，把學科建設、研究生招生與培養、研究生思想教育與管理、學位申請審核等方面的具體工作下放到全校各研究生培養單位。規模較大的研究生培養單位設立研究生與科研辦公室，設置研究生輔導員、教務員崗位，具體組織本單位研究生的教學、思想政治教育與管理工作。河南大學還成立了碩士專業學位教育中心，分別掛靠在相關學院進行管理，具體負責各種專業學位研究生的培養和管理工作。
2010年2月，根據工作需要，經校黨委常委會議研究，決定成立“211工程”與省部共建辦公室，掛靠研究生院。
2013年5月，河南大學調整部分機構設置。調整后的研究生院（黨委研究生工作部）設立：學科建設辦公室、招生辦公室、培養辦公室、學位辦公室、教育管理辦公室（以上機構為正處級）以及綜合辦公室（副處級）；同時，撤銷了“211工程”與省部共建辦公室。其中，河南大學建設辦公室下設兩個科室：學科建設管理科、省部共建與質量評估科；研究生招生工作辦公室下設一個科室：招生管理科；培養辦公室下設兩個科室：學術學位培養科、專業學位培養科；學位辦公室下設一個科室：學位管理科；教育管理辦公室下設兩個科室：獎助貸管理科、教育管理科；綜合辦公室下設一個科室：行政管理科。
目前，河南大學已經成為一所擁有哲、經濟、法、教育、文、歷史、理、工、農、醫、管理、藝術等12個學科門類的綜合性大學。設有12個博士學位授權一級學科，42個碩士學位授權一級學科，20種碩士專業學位授權類別；哲學與公共管理學院、經濟學院、環境與規劃學院、法學院、文學院、教育科學學院、體育學院、外語學院、新聞與傳播學院、藝術學院、歷史文化學院、土木建筑學院、數學與統計學院、計算機與信息工程學院、物理與電子學院、化學化工學院、生命科學學院、醫學院、藥學院、商學院、天然藥物與免疫工程重點實驗室、特種功能材料重點實驗室、納米材料工程研究中心、馬克思主義學院、黃河文明與可持續發展研究中心、淮河臨床學院、護理學院、軟件學院、東京臨床學院、國際漢學院、植物逆境生物學重點實驗室、黃河文明傳承與現代文明建設河南省協同創新中心、納米功能材料及其應用河南省協同創新中心、新型城鎮化與中原經濟區建設河南省協同創新中心、作物逆境生物學河南省協同創新中心、河南大學人民醫院等36個研究生培養單位。全日制在校研究生規模為7000余人，其中博士生300余人。
在河南大學黨委、行政的正確領導下，研究生院認真貫徹落實國家有關學位與研究生教育的各項方針政策，遵循高等教育發展規律，形成了“務實、求真、奮發、進取”的工作作風。研究生院以國家開展研究生教育綜合改革為契機，圍繞建設高水平大學的戰略目標，堅持走內涵式發展道路，把立德樹人作為研究生教育的根本任務，不斷將河南大學學位與研究生教育事業推向前進。
