牌坊历史源远流长，关于它的来历，有两种说法：一种说它是由棂星门衍变而来，开始用于祭天、祀孔。棂星原称灵星，灵星即天田星，为祈求丰年，汉高祖规定祭天先祭灵星。宋代则用祭天的礼仪来尊重孔子，后来又改灵星为棂星。另一种说法则认为它是由衡门衍变而来的，在中国春秋时代的作品《诗经》中，便有相关介绍：衡门之下，可以栖迟。
《诗经》大抵是周初至春秋中叶的作品，由此可以推断，“衡门”在中国的春秋中叶便已经出现了。据说，最早衡门是以两根柱子架一根横梁的结构存在的，因为它的形状更接近于后来的牌坊样子，人们便称衡门为牌坊的老祖宗了。