第36师与87、88两师有着极深厚的渊源，1933年9月，正是在第87师和88师两个师的补充旅共四个团基础上，组建了第36师，师长
宋希濂，副师长钟彬，参谋长向贤矩。
第36师各级主官：（1936年12月完成整编，1937年1月获颁军旗）
师长宋希濂，副师长钟彬，参谋长向贤钜；
第106旅陈瑞河，辖第212团顾葆裕、第213团李志鹏；
第108旅杨光钰，辖第215团刘英、第216团胡家骥。
1933年9月，刚组建还不到一个月的第36师即开
江西抚州，作为北路军的预备队，参加对红军的第五次围剿。11月中，在浒湾战斗，36师与红三军团在八角亭东南发生激战，致使红军遭受重大伤亡后被迫撤出战斗。
福建事变与围剿红军
福建事变爆发后，
蒋介石决定抽调嫡系部队入闽，讨伐福建“人民政府”和其第19路军。
第36师则归
卫立煌指挥的第五路军，在闽西的邵武、顺昌一带集结。第36师穿越闽西北苏区，在崇山峻岭的羊肠小道中连续行军二十天，于1934年1月10日到达邵武，休整两天后经洋口向延平进军。
延平城位于闽江上游，是建溪、富屯溪、沙溪三江的会合点，江面水深流急，又多险滩暗礁。延平城东、南、北三方为三条河流环抱，西面则是高山峻岭，西的九峰山尤为险要。而且刘和鼎的第56师在此经营多年，在西面群山上修筑有大量坚固工事，天险加上坚固工事使延平成为易守难攻之地。因此蒋介石只要求36师相机攻击，以牵制敌军兵力，待正面攻击奏效后，再共同歼灭延平之敌。第36师师长宋希濂亲率各旅团营长对九峰山的地形及敌军阵地进行了详细的侦察，发现在九峰山的第四第五峰间，树木茂密，工事亦不坚固，便决定先以211团对第八、第九峰进行佯攻，而以全师老兵最多的第215团于夜间先隐蔽运动到九峰山麓，再利用树林逐步接近第四第五峰，发起突然攻击。
1月20日第36师先集中炮火猛轰延平西北高地，第211团在飞机掩护下发起攻击，攻下了敌军阵地的几个支撑点。午后，211团以两个营的兵力猛攻第八、九两峰，诱使守军以为36师全力猛攻，便从右翼部队抽调兵力增援。正当第八、九峰战况正酣时，215团选择敌军防御薄弱之处突然发起攻击，仅遭微弱抵抗，不到十分钟就占领了第四第五峰。这一战果彻底动摇了守军的决心，其在九峰山一线的有组织抵抗很快瓦解。九峰山一失，延平守军自知屏障已矢，难以固守，遂于次日向中央军接洽投降。蒋介石知道36师的战绩后，亲笔写下嘉奖令，用飞机空投给36师，并于当晚通令全军嘉奖。
36师在克复延平后即挥师向闽北重镇古田前进，与
张治中指挥的第四路军会合，就这样三个精锐德式师在福建前线会师。张治中见古田城防坚固，为避免伤亡派人入城与劝降，守军见援兵无望，中央军兵力却在不断增加，而坚城延平失守对于守军打击甚重，于是同意投降，中央军因此兵不血刃而下古田。几乎同时，闽北另一重镇水口也被中央军攻占，福州门户洞开。而集结在闽南的中央军也正向仙游推进。福建人民政府和十九路军陷入了中央军四面包围。其首脑人物
李济深、陈铭枢、蒋光鼐、黄琪翔、陈友仁等人，在大军压境的危急情况下仓皇由海路乘船逃往香港，仅由
蔡廷锴率十九路军主力向泉州方面撤退。36师在追击中曾与十九路军后卫发生激战，216团团长王作霖阵亡。第36师师长宋希濂通过审问俘虏知道对阵的是十九路军第49师，其师长张炎在
一二八淞沪抗战时是61师的副师长，曾一起并肩作战，交情颇深，便写信劝降。张炎随即回信，并附有致蒋介石南昌行营秘书长杨永泰的一份密码电报，原来张与中央早有联系。
而在泉州的十九路军残部已被团团包围，蔡廷锴见大势已去，只身离开部队。中央军每天派出飞机在泉州上空散发传单，告之中央军所在位置，说明十九路军已完全陷于重围之中，劝其派出代表接洽投降。同时中央军派83师参谋处长符昭骞前往泉州劝降。（符是广东人，与十九路军的一些中高级军官熟识），在军事和政治双重压力之下，再加上与中央早有联系的毛维寿、张炎等力主和平解决，最后，十九路军余部接受了中央提出的条件，各军照原番号缩编为师，所有师长团长均由中央另派人接任，原十九路军的军、师、团长由中央资遣出洋或依其志愿送入陆军大学或高级教育班学习。协议签署后，十九路军余部开出泉州到仙游、莆田一带整编。因十九路军中反蒋意识很强，蒋介石恐有不测，便密令嫡系部队36师采取突然行动收缴十九路军余部武器。随后，这些队伍便被陆续送到河南等地整训，营长以上的军官全部换成了中央军校出身的，这几个师也就逐渐中央化。
36师在此期间还参与了一件重大历史事件：枪决
中共领袖瞿秋白。
1934年10月，红军主力开始
长征，身患重病的瞿秋白不能随军长征，被留在了瑞金。1935年初，苏区斗争形势更为险恶，瞿秋白病情加重，中央决定送他转道香港去上海就医。2月24日，瞿秋白一行在
福建长汀县濯田区水口镇小迳村附近，与当地地主武装遭遇后被俘。6月2日，蒋介石从
武昌行营密令
蒋鼎文：“瞿匪秋白即在闽就地枪决，照相呈验。”6月18日，瞿秋白在长汀从容就义，年仅三十六岁。——宋希濂晚年的回忆中，对此事件深表愧疚。
1939年8月13日，八一三淞沪事变爆发！18日，36师已从西安星夜赶来，到达上海北郊的吴家宅地区。 19日，36师集中两个团从杨树浦北侧南下，从522团攻占的地区出发向保定路推进。日军当晚以坦克支援步兵对87师和36师进行多次反击，均被击退。
20日凌晨1时，36师106旅继续向南攻击，于天明时分进至沙泾港、岳州路、昆明路一线，其左翼已与87师打通联系。张治中亲临江湾87师师部指挥作战，决心利用87师和36师突入杨树浦租界进至岳州路的有利态势，以主力向汇山码头突击，实现中央突破，切断日军左右两翼的联系，然后向两翼卷击。为此将刚从南京赶来的装甲团战车营的战车第1、第2连的六辆英制维克斯6吨轻型坦克配属生力军36师，以装备德制37毫米战防炮的教导营配属给87师，进一步加强其突击力。
下午，张治中下令87师协同36师向当面之敌猛攻，力求直突汇山码头。同时令88师佯攻虹口，98师警戒沙泾港以西。
36师师长宋希濂在新港开设师部，亲自指挥211团攻击沙泾港西岸之敌，215团和216团在战车第1连的配合下沿邓脱路和兆丰路向南猛攻，212团则沿舟山路攻击前进，掩护主攻方向侧翼。当夜24时36师开始主攻，作为前导的战车第1连奋勇冲杀，连破日军数道防线，但是步兵被日军密集火力所阻，未能及时跟进，结果坦克因失去步兵支援被日军击毁！后续步兵虽然失去坦克支援但依旧毫无踌躇猛攻不止。日军盘踞在道路两侧的高楼上，居高临下组成交叉密集火网，并以坦克、装甲车掩护步兵分队实施反扑。212团在舟山路华德路口遭到密集火力拦截，伤亡惨重，106旅长陈瑞河也在战斗中身负重伤。215团的攻击也同样难以前进，第2营营长李增阵亡。部队见正面攻击无法奏效，便迂回侧后的小巷，准备从高楼后面攀窗而上，结果日军坦克突然杀出，以炮火封锁了巷口，再以燃烧弹猛轰，300多官兵葬身火海！216团前赴后继冲过百老汇路，一直攻到汇山码头大门前，但是没有随伴炮火摧毁坚固的码头大铁门，而四周日军弹如雨下，稍有迟误便有大量伤亡，团长胡家骥身先士卒攀爬铁门，官兵相继跟进，但是攻入码头的部队立即遭到日军猛烈侧射火力压制，死伤枕籍，胡家骥左右随从死伤殆尽，胡家骥也身中五弹！眼见无法巩固战果，死伤又重（216团伤亡高达570人），216团只好退回引翔港，日军乘势反击，宋希濂紧急投入师预备队工兵营才稳定战线。
23日3时，36师经过短暂调整以3辆坦克和3个步兵营再次向汇山码头发起攻击，此次步坦协同比昨日大有进步，坦克接连摧毁日军多处阵地，步兵以血肉之躯吸引纵深日军重机枪火力，掩护坦克突入敌阵将其摧毁。战至5时，再次冲入汇山码头，并肃清码头日军。但日军停泊在
黄浦江上的军舰立即以舰炮猛轰，接着百老汇路两端日军在飞机支援下从两面反扑，国军坦克全部被毁，冲入码头的官兵死伤累累，一营之众仅数十人生还！被迫退回唐山路，此次突击功败垂成！
但是几天来，国军各部的猛攻，已切断日军两翼，压迫其主力收缩至陆战队司令部和
公大纱厂等几个孤立据点。杨树浦日军面对国军勇猛突击，惊恐之下竟纵火为障，百老汇路、公平路等地的大火整整烧了三天三夜！更有三批共约四五百人慌不择路逃至外白渡桥，向守卫租界的英军投降！缴械后被关押在外滩公园。
保卫南京
由于从淞沪战场后，
国民政府统帅部决定固守南京一至两个月，以唐生智为首都卫戍司令长官，指挥南京防御。12月初，国民政府从第三战区和第七战区先后调集十一个师，加强南京防御力量。此时，第36师与第87师、第88师和教导总队都在其列。
12月3日，日军开始全线向南京推进，南京保卫战正式开始，战至6日已陆续突破国军各部的警戒阵地，逼近南京外围。
12日，日军攻势更盛，雨花台核心阵地于10时许失守。中午时分，日军集中炮火猛轰中华门城垣，中华门西侧城垣轰然而倒，日军随即蜂拥而入，88师抵敌不住，开始退入城内，中华门附近居民也为逃避战火向城内奔逃，难民、溃军拥挤道路，市内秩序由此大乱！
17时，唐生智召开师以上将领会议，部署撤退行动，下发撤退命令及计划。其计划基本设想是各部均从正面突围，只有36师等少部随卫戍司令部从下关渡江。
在撤退命令下达前，已有不少溃兵拥至挹江门，而驻守该地的36师因没接到撤退命令，仍执行原先戒严的命令，甚至出现面对溃兵如潮开枪制止的情况。更是加剧了撤退的混乱程度。下关码头的局面更是混乱不堪，各部队争相抢夺船只，不少船只因超载而下沉，更有一些人见无船可渡，便利用门板等漂浮器材自制简易泅渡工具渡江，结果多葬身江心。
卫戍司令长官唐生智率司令部人员于12日晚从下关乘坐小火轮渡过长江，36师利用驻守挹江门控制小火轮的便利，在司令部过江后也乘坐小火轮渡江，因此损失不大。
87师、88师和教导总队则没有36师那么幸运，大部没能渡过长江（留在城里的多成为南京大屠杀的冤魂），只有少数官兵历经辗转渡江归队。
36师是参加南京保卫战的德式师中唯一建制完整的部队，但也因伤亡过重而调江西萍乡进行三个多月的休整补充。1938年5月豫东作战开始后即奉命参战，在开封地区作战中毙敌千余。1938年8月武汉会战中，36师终于不负厚望，创下了整个抗战期间最为辉煌的战功。
9月1日，36师在富金山及800高地展开，与第3兵团其他各部一起构成战线阻击由合肥迂回武汉的日军第2军。
9月3日，日军第13师团在飞机、坦克和炮兵掩护下突破了71军在新集子与石门口的警戒阵地后直扑由36师坚守的71军主阵地富金山。71军军长宋希濂就是36师的老师长，他深知富金山一线是整个战线的关键所在，一旦失守日军将长驱直入，乘36师的身后国军后续部队还在集结之中，还来不及组织有效防御之机直入武汉城下！因此可以说36师在富金山每坚持一天甚至一小时都是宝贵的！从当天上午10时，日军投入第26旅团主力，在24架飞机和全师团炮火支援下，向富金山猛攻不迭，均被凭险固守的36师击退。
日军攻击富金山的兵力从最初的一个联队逐次增加到整整一个旅团又四个大队，在飞机重炮的陆空一体火力掩护下，连日猛攻，36师利用富金山有利地形拼死坚守，与日军反复拼杀，予敌重大杀伤，未失寸土！
9月7日，日军第10师团攻占固始，并以一个联队的兵力南下攻击富金山以西的武庙集，严重威胁富金山阵地侧后。宋希濂立即将军预备队88师523团紧急调到日军南下必经之路的坳口塘设伏，予来犯之敌重创，迫其退回固始。而在富金山正面，日军后续部队第16师团已进至六安以西，第13师团解除了后顾之忧全力猛攻，从9日至10日，不分昼夜猛攻不止，36师浴血苦战，将日军的进攻尽数粉碎。日军第13师团从11日凌晨起，倾全力猛攻。战至9时许，从富金山与石门口的战线结合部突入，36师在师长陈瑞河的指挥下，抱必死之心进行逆袭，官兵奋勇拼杀，前赴后继，与日军白刃搏杀，战况殊为惨烈。36师迭经多日血战，虽得到88师一个团的增援，但在此死伤甚重的时候不过是杯水车薪，难以击退人数火力均占优势日军的如潮拥进，至下午16时，36师除富金山主峰制高点外，其余阵地全告失守。就在这样的紧急时刻，陈瑞河师长还是组织全师残部实施了最后一次强力反击，虽予日军极大杀伤，但36师所余兵员已不足千人，难以再战，因此宋希濂以61师从富金山右翼发起反击，抢占800高地至庙高寺一线，以掩护36师后撤，富金山至此方告易手。——36师坚守富金山九天九夜，以坚韧顽强的防御迟滞日军第2军的攻击，毙伤日军第13师团逾万人（其中第26旅团长沼田德重少将重伤，其所属四个联队长亡二伤二），为国军赢得了调整部署的宝贵时间，彻底粉碎了日军越过大别山迂回武汉的战役企图。因此9月14日蒋介石通电全国全军嘉奖：“……是则宋军陈师之壮绩，已获得超出之代价，尤其精神上足使敌确认我愈战愈强，抗战精神，历久弥增，令其气短。……”并号召全军学习36师的精神，“各奋英勇”，杀敌报国。宋希濂与陈瑞河双双获得华胄荣誉勋章。而德式师硕果仅存的36师此役从万余人锐减到800人，几乎损失殆尽，为德式师写下了最后的辉煌与荣光！36师里那些熬过了淞沪血战与南京保卫战的百
36师富金山一役后，先经襄阳、随县在大别山区进行整补，后随71军北上退往陕南，其后又移驻河南灵宝，休整达八个月之久，逐步恢复了元气。1940年3月李志鹏接替陈瑞河出任师长，率部开赴晋东南地区与日军周旋数月，首战即力克长治，有力掩护国军调整兵力部署。后至陕南豫西地区休整，继而南下入川，于1941年7月进驻西昌。1942年3月，36师奉命进入云南，作为远征军的后援，5月日军击败进入缅甸作战的中国远征军，并衔尾紧追撤回国的远征军。由于第66军不战而退，日军直入滇西，威胁昆明。此时36师刚刚抵达滇西祥云，立即征集车辆紧急开赴保山。36师到达怒江东岸的惠通桥地区后迅即索敌攻击，迅速肃清乘座橡皮舟艇渡过江的日军小部队，并构筑工事展开防御。日军因惠通桥被炸断，主力及重装备无法渡江，又见36师整军以待便放弃渡江东进的企图，在松山转入防御，双方形成对峙。
1944年36师改隶第20集团军54军，参加了滇西反攻、强渡怒江、攻占腾冲等战斗。抗战胜利后36师先是在广东与解放军东江纵队多有交手，迭有胜绩。1946年改编为整编第36旅，旅长李志鹏，隶属于整编54师，投入华东战场，作为进攻胶东的主力，于1947年9月攻占平度。1947年12月初该旅106团及108团第1营在莱阳被歼，此役106团团长胡翼烜率部死守十数日，最后仅率17人突围，虽丧师失地，但该团以一团之孤军独拒解放军三个纵队的围攻，其顽强精神也为国军所少见，所以战后胡翼烜团长升任少将旅长。随后36旅重建106团。同月整编54师主力北调东北，36旅依旧留在山东，转隶整编45师，守备青岛。
1948年11月，整编36旅恢复36师番号，师长胡翼烜，隶属50军（即原整编45师）。1949年6月从青岛登船南撤广东。1949年10月36师在广东阳江地区遭到解放军第43军的沉重打击，师长李成忠被俘。张国英接任师长率领余部撤至海南岛，旋即被撤裁。36师的辉煌历史至此彻底结束。