我国早在秦、汉时期，就有“金匮石室”的制度。《汉书·高帝纪下》记载：“与功臣刻符作誓，丹书铁券，金匮石室，藏之宗庙。”所谓“金匮”，即是铜制的柜子；所谓“石室”，就是用石头砌筑的房子，其目的均是为了防火，让其保存的珍贵档案，能永久地保存下去。
尔后历代档案库，均因袭秦、汉旧制，而又各有所发展，供保存各朝皇帝的“实录”、“圣训”、“玉碟”之类的皇家档案。历史上历朝历代都建有这类档案库，但多数已毁，象皇史成这样保存完整的，已几乎都没有了，这就越发显示出这组建筑的特殊价值。
皇史宬的建造，最早源于明朝内阁大学士丘浚给皇帝的上疏。早在明朝弘治五年（1492），丘浚就曾奏陈皇帝，提出应收集整理历代的经籍图书，立为案卷保存，以备“今世赖之以知古，后世赖之以知今。”对建设什么样的库房保存这些图籍，他建议：仿照中国古代“石室金匮”之意，在紫禁城文渊阁附近，建造一所不用木植，全用砖石垒砌的重楼，上层用铜柜存放各朝皇帝的实录和国家大事文书，下层用铁柜保藏皇帝的诏册、制诰、敕书及内务府中所藏可用于编修全史的文书。他的这一建议，基本勾画出了皇史宬的雏形。但由于种种原因，他的建议当时并未能付诸实施，直到42年后的嘉靖十三年，嘉靖皇帝因下令重修累朝皇帝的实录，并令大臣筹议建阁收藏皇帝的“御像、宝训、实录”之事时，当朝吏部尚书、华盖殿大学士张孚敬等，才重申前议，并有了“石室金匮”的正式建造。但新的建筑，已在丘浚建议的基础上有了很大改变。
经张孚敬等议定，并经嘉靖皇帝批准，将建造地点选在了南池子一带，这样，既可以和其他宫苑建筑相成一体，又离紫禁城不远，还便于专门保管和查阅。其建筑规制，不是重楼，而是和南京之斋宫相同，内外用砖石团，阁上敬奉历代皇帝像，阁下存放累朝皇帝的实录、圣训。整个建造工程，用了两年时间。
嘉靖十五年八月二十日，重修后的皇帝实录、圣训奉安进库，皇史宬开始正式投入使用。
皇史宬初建时，拟定名字并不叫皇史宬。因其初意首先是为敬奉皇帝像而建，所以初命名“神御阁”。工程完工后，嘉靖皇帝又决定专用该建筑存放皇帝的实录和圣训，而皇帝画像则另修景神殿恭奉，因此，乃将“神御阁”更名为“皇史宬”。据崇祯朝进士孙承泽《春明梦余录》记载，皇史宬的名字，是由嘉靖皇帝决定的，其中“史”字，明时写作“ ”字，“宬”字，是在“成”上加个宝盖，这些字形的确定，也都是嘉靖皇帝“自制而手书”的。“宬”，《日下旧闻考》援引《燕都游览志》注释说：“宬与盛同义，《庄子》：‘以匡宬矢’，《说文》曰：‘宬’，屋所容受也。”在中国历史上，皇帝至高无上，代表国家，而历朝皇帝又都标榜自己所修的实录圣训，“不虚言，不溢美”，是真实的历史记录，所以用以存放实录圣训的地方，应既是保藏中华文化的总汇，又是保存皇家正史的殿堂。这也就是皇史宬之名称、之字形的寓意所在。
清朝取代明朝后，仍将皇史宬作为保藏皇家档案之所，但皇史宬的门额字形，清朝做了很大的改变，“史”字不再用“”字，并且改成了左汉右满两种文字合璧。1911年，清朝政府被推翻后，皇史宬一度仍归溥仪小朝廷的内务府管理，1925年溥仪出宫后，皇史宬由北平故宫博物院接管。这个时期，皇史宬长期处于封存状态。
中华人民共和国成立后，1949年北京市政府把皇史宬列为市重点文物保护单位。
1955年，国家档案局成立，皇史宬移交国家档案局管理。从1956年起，国家陆续拨巨款对皇史宬进行了多次修缮。
1982年，皇史宬又被国家文物局列为全国重点文物保护单位。
如今，皇史宬由中国第一历史档案馆直接管辖，所存明清皇家档案，已移存第一历史档案馆存放，皇史宬已成为对外开放展览、展示中华古老档案建筑和文化的重要景点。
