公元前479年，孔子逝世，他的弟子们把他葬于曲阜城北的泗水之上，那时还是“墓而不坟”，坟墓并没有高土隆起。到了秦汉时期，虽然后世将孔子的坟筑高，但仍只有少量的墓地和几家守林人罢了。
后来，随着孔子地位的日益提高，孔林的规模越来越大。157年，东汉桓帝刘志勅令鲁相修建孔子墓，把墓前砖祠坛换成了石头。石方3尺，纵横各7块，又在墓前造神门一间，之后又在东南建造了一间斋宿，整体面积也只不过一公顷而已。
孔子墓整体看起来恰似一隆起的马背，所以又称马鬣封。孔子墓的封土东西长30米，南北宽28米，高5米。
到了明朝，朱元璋下令在墓前立石碑2通，前碑篆书刻有“大成至圣文宣王墓”字样，后碑篆书镌刻“宣圣墓”3个字，碑前有石供案、下酒池和石砌拜台以及砖砌花棂围墙等。
从正面看去，“大成至圣文宣王墓”几个字并不能看全。相传，朱元璋得天下之后，为了巩固统治，就采取了尊孔贬孟得政策，将孔子封为大成至圣文宣王。可太师刘伯温却对他说：“您是王，孔子也是王，天下怎么能有两个王呢？”
朱元璋想了想，问道：“封都封了，现在还能怎么办呢？”
于是，刘伯温出了个主意，就在墓前砌了一道栏杆，将墓上的王字挡住了一横。
墓前的石台始建于汉代，唐时改为泰山运来的封禅石筑砌，后来历代都有所扩建。
孔子墓东为其子孔鲤墓，孔鲤是孔子的儿子，先孔子而死，并无特殊建树，但因其系孔子之子、孔伋之父，故被宋徽宗封为泗水侯，也被孔氏子孙尊为二世祖。
神道是连接孔林和曲阜县城城门的通道，神道的前段比较疏朗，建筑仅置有文津桥、碑亭和石坊，神道平直，两侧桧柏龙干虬枝，夹道侍立，营造出一种古老而又庄严的氛围。
神道中巍然屹立着一座万古长春坊，这是一座6楹精雕的石坊，支撑石坊的6根石柱上，两面蹲踞着12个神态不同的石狮子。
坊中的“万古长春”4字，是后来的明朝在修葺时增刻的，到了清朝雍正年间，又在坊上刻了“清雍正十年七月奉敕重修”的字样。
石坊上雕有盘龙、舞凤、麒麟、骏马、斑鹿、团花、祥云等，中雕二龙戏珠，旁陪丹凤朝阳纹饰，使整个石坊显得气势宏伟，造型优美。
坊东西两侧各有绿瓦方亭一座，亭内各立一大石碑，都是明朝的官僚郑汝璧及连标等人所立的。东面的石碑上面刻有“大成至圣先师孔子神道”10个大字，西面为“阙里重修林庙碑”。两碑都十分高大，碑头有精雕的花纹，碑下有形态生动的龟趺。
穿过厚实的神道，放眼望去，碑碣、墓冢林立，古木森森，芳草吐碧。折而向西，便是洙水桥坊与洙水桥，位于孔子墓轴线南端，是孔子墓甬道的第一道大门。
洙水桥坊的两面各刻“洙水桥”3字，后来在修葺的过程中，在北面署刻了明嘉靖二年衍圣公孔闻韶立字样，南面刻写了雍正十年年号，坊北有一券隆起颇高的拱桥架于泮水之上。
泮水本是古代的一条河流，与泗水合流，到曲阜北又分为两条河道。春秋时孔子在泮泗之间讲学，后人就以泮泗作为儒家代称。但泮水河道久湮，为了纪念孔子，后人就将鲁国的护城河指为泮水，并修了精致的坊和桥。
洙水桥的南北各有历代浚修洙水桥的碑记，桥上有青石雕栏，桥北东侧有一方正的四合院，称作思堂，堂广三间，东西三间厢房，是为当年祭孔时祭者的更衣之所。
室内的墙上镶嵌着大量后世文人赞颂孔林的石碑，如“凤凰有时集嘉树，凡鸟不敢巢深林”、“荆棘不生茔域地，鸟巢长避楷林风”等。
在院的东邻还有一座小院，门额上刻有“神庖”两字，是当年祭孔时宰杀牲畜之处。
此后一段时间内，中原连年战乱，孔林也遭破坏，林内树木所剩无几，仅有50多座墓葬。
到南北朝时期，以孔子墓为中心植树600株，蔚然成林。495年，北魏孝文帝拓跋宏驾临鲁地，亲自祭祀孔子，下诏栽种柏树，并为孔子修饰坟茔，逐渐恢复了孔林的规模。
之后，又修建了林墙。林墙全部用灰砖砌成，高4米，长7.3千米，占地3000亩，墙中古木参天，茂林幽深，相传孔子的弟子，各以其故乡的树木种植于孔林之内，因而树种极多。
宋代宣和年间，又在孔子墓前修造石仪，此时，孔林的墓道轴线也就正式形成。
到了元朝，孔子的孙子被封为沂国述圣公，孔氏子孙将其尊为三世祖。孔伋继承并发展了孔子的学说，死后被葬在孔子墓的南面。
这样一来，孔子墓东为子孔鲤墓，南为孙孔伋墓，这种墓葬布局被命名为“携子抱孙”。在当时的民间一直都有“怀子抱孙，世代出功勋”、“父在子怀，富贵永远来”的说法。因此