微山湖的伏羲陵和伏羲庙（内有女娲像），是古人祭祀人祖所修。后经历代帝王重修、碑刻铭记，延存至今。
夏代以后曾多次在现南四湖内设国建城邑，史书记载，夏代的“仍国”曾设在南四湖东岸的仲家浅村；周代封的“邿国”建立鲁桥镇西6公里处。周封微子于宋， 微子死后葬于微山，其湖称为微山湖。
秦于此置沛县、留县、戚县、 胡陵县等。《读史方舆纪要》记载：“沛故城。县治东南微山下。山无石，隆然一土冈耳。”汉高祖刘邦在微山湖畔的沛县发动起义，推翻了秦朝建立了汉朝。
汉武帝元光三年（公元前132年），黄河第一次夺泗入淮，黄河在瓠子（今河南濮阳西南）决口，大溜向东南直奔巨野泽，夺泗水故道转注淮水入海。黄河水在济濮之间泛滥二十三年，直至武帝元封二年（公元109年），帝遣使郭昌等卒数万，堵塞了瓠子决口。此时黄河夺泗并非全河入之，直至宋初之前，虽又有王莽始建国三年黄河第二次迁徒，对泗水的影响仍不严重。但是，黄河水流的运动却使鲁西平原出现了一些洼地沉积相区。
南北朝时，微山湖尚未形成。《魏书》记载：留。二汉、晋属。有微山、留城、微子冢、张良冢、祠、广戚城、薛城、戚夫人庙、黄山祠。“
据《隋史·薛胄传》戴：“兖州城东沂（即小沂河）、泗二水合而南流，泛滥大泽中”，可见在济宁以南，古泗水东岸的兖州以下，在时隋朝已经形成沼泽湖泊。
自北宋神宗熙宁十年（公元1077年）始，黄河改道，决口逐渐繁起来，黄河水流对加速微山湖演变所起的作用也相应增加。金章宗明昌五年（公元1194年）黄河决口于河南阳武，入梁山泊分流南北。南汉由南清河入淮，历经坟上、加祥、济宁，在今微山县鲁桥镇西南与泗水汇合，至江苏清江市入淮。
随着历代政治中心北移，金元明清四朝建都北京，为“漕运江淮以供京师之需”，于是放弃了隋代建成的以洛阳为中心的运河航道，从元代开始，沟通南北运河，于至元二十六年（公元1289年）和至元三十年（公元1293年）相继开挖了会通河和通惠河。此时，济宁至徐州之间利用泗水天然河道为运河。为了保持航运水深，在泗水河道上建闸，河东山水在东岸停蓄，开始形成了昭阳湖和独山湖。明代，黄河不断泛滥，黄强泗弱，泗水出路受阻，使昭阳、独山不断扩大，在微山附近出现了赤山、微山、吕孟、张庄等相连的小湖。
明弘治八年（公元1495年）刘大夏筑黄陵岗，在修太行堤，北流的黄水就全部南来，自开封至徐州夺汴，再至淮阴夺泗，淮阴至河南兰考铜瓦厢决口北迁，夺大清河由山东利津入海，形成现在的黄河，前后经历六百六十多年。黄河如此夺泗夺淮，一方面大量泥沙淤积，形成现在的黄河床，使泗水南流入淮之路受阻，洪水长期滞积；另一方面，由于黄水与东部河流的共同作用，使该区从北至南出现了大小、形状、底高程均不同的南四湖雏形，从钻孔的地质资料及沉积物分析，湖在第四纪堆积上形成的时间不长。明代嘉靖年间，开挖了南阳新河，使运道脱离泗水由昭阳湖西移到湖东，东部沙河等山水引入独山湖，薛河水引入吕孟湖。
明隆庆至万历十八年（1567～1590年），微山、郗山、吕孟湖连成一片，统称吕孟湖。万历十九年（1591年）河道尚书潘季驯主持开凿李家口河，“自夏镇吕公堂（昭阳老坝村）迤西，转东南，近微山（岛），经龙塘至内华闸（徐州张谷山东南），以接新开镇口河，共一百里”（民国《沛县志》）。由此可知，当时这一线尚未成湖，吕孟诸湖与留城一带的积水尚有一段距离。但不几年李家口河便“黄水冲射堤岸，胥圮于水”，使吕孟诸湖与留城一带的积水相汇了。万历二十一年（1593年），“徐、沛、鱼、滕诸郡邑，雨潦大作，泉湖湓溢，汪洋滔天，漕堤凡溃二百余里，……邹、滕诸山之水，汇于赤吕诸湖，周回数十里”。尚书舒应龙主持开凿韩庄支渠，以泄湖中之水。万历三十一年（1603年），黄河于单县、曹县决口，“灌昭阳湖，入夏镇，横冲运道……”次年秋，黄河又在丰县决口，入昭阳湖，穿李家港口，南出镇口。经过几次黄水灌注，郗吕诸湖与西部的武家湖连接起来。
微山湖，由微山、郗山、吕孟、武家、黄山诸小湖相汇而成。武家湖在留城南，黄山湖在黄山东，其余小湖在今微山岛附近。这些小湖陆续出现于明弘治至嘉靖年间。初现时各自为湖。明万历三十二年（公元1640年），大开洄河（今韩庄运河），运河再次东移，奠定了京杭大运河的基础。至此，赤山、微山、吕孟、张庄四湖湖面迅速扩大，合为微山湖。随着运河的开发，为蓄湖东山水济运，昭阳等湖成为运河水柜，这此，南阳、独山、昭阳、微山等湖相连，初步形成了今日的南四湖。万历《兖州府志·山水》载：“微山在滕县城南一百里，其下为微山湖，黄沟水入焉，又东南为郗山，其下为郗山湖，又稍南为吕蒙山，其东南为吕孟湖。”朱衡开凿漕运新渠时，郗山、吕孟诸小湖尚未连成片，西距武家湖甚远。
清顺治中期，吕孟湖和昭阳湖全部衔接起来。康熙《滕县志》载：“顺治中（1644～1661年），废镇口河，专用泇河，微山、郗山、吕孟并昭阳等湖即汇而为一，李家口诸河故迹遂没。”连接成片的赤吕诸湖，北边与昭阳湖衔接起来，东自韩庄，西至故留城西，南抵茶城，“东西四十里，南北八十里”的微山湖形成了。现今的微山湖周长130公里，湖面积531.17平方公里，湖底最低海拔30米。
微山湖也是著名的铁道游击队的战斗场地之一。1941年秋，微山湖游击队正式成立后，配合活跃在微山湖地区的兄弟部队——铁道游击队、运河支队、湖上区中队等抗日武装，坚持湖区斗争，同日伪军和顽固势力展开了英勇顽强的斗争，参加了许多重要战斗，发挥了重大作用。与此同时，还在鲁南军区、湖西军区和沛滕边县委的领导下，为开辟和巩固由延安至华东的湖上交通线，护送过往干部，作出了贡献。
微山湖由于地理环境，和行政划分等原因，解放以来，两岸居民为争夺湖田湖产等经济利益，引发大小械斗400余起，共造成山东、江苏两省群众死亡31人、伤800余人，严重影响了当地社会稳定和经济发展，也困扰了中央和地方政府。
经苏鲁两省协商，政务院批准，在1953年8月成立了微山县，隶属山东。
1956年，国务院又在调整鲁苏两省界线的批复中指出，“微山湖湖面，由山东省微山县统一管理”。
大跃进时期，因气候干旱湖水面积减少，位于微山湖西侧靠近江苏沛县的地方大约有18万亩湖田，江苏沛县县委于是建立了抢种湖田指挥部，组织17处公社2万余人，1000 多头牲口，抢种了8.4万亩湖田。由此引发山东不满，双方械斗，打伤多人。
1961年秋天，沛县提出“向大湖进军”的口号，重新组织力量，抢种微山湖湖田。引发纠纷后，山东和江苏两省召开省、地、县三级协商会议，但历时50余天，矛盾未能解决。
文化大革命后，矛盾进一步激化，因种植粮食涉及土地争议，大小械斗较为频繁，国家有关部门曾多次派出工作组前往调处，并于1967年、1984年两度对湖区边界进行了调整，但终因矛盾双方坚持各自利益，微山湖地区始终未能平静，一直持续到近年来有所好转。
1953年成立山东省微山县时确定的江苏、山东两省在微山湖地区的边界线以湖田为界。湖田随着湖内水位的变化而变化，水位高的时候湖田就少，水位低的时候湖田就多，当地人通常说：水到哪里，哪里就是山东；水退到哪里，哪里就是江苏。
2004年8月，沛县与微山县缔结为友好县，双方约定，两县党政主要领导定期会晤。经过政府的合理协调和湖两岸农作物收割时间错开，避免了两岸的农民经济纠纷。经过几年的努力，湖区的经济纠纷问题基本解决，微山湖区进入了经济迅速发展期。
