从秦始皇统一天下的时候开始的。
县制起源于春秋时期的楚国，楚武王熊通；郡制起源于秦国，秦穆公嬴任好；经过历代法家代表的改革，最终成型于秦汉时期。
秦始皇统一天下之前，县大于郡，千里百县，县有四郡，因此秦始皇之前的地方行政制度为“县郡制”。秦始皇统一天下後，曾出现过应否置郡的争论。
秦始皇三十四年（公元前213年），秦始皇在咸阳宫中置酒，70博士祝酒。来自齐地的博士淳于越说：殷周之所以能够延续千余年，是因为分封子弟功臣作为枝辅，而秦始皇拥有四海，子弟却为没有封地的匹夫，有事时期，秦之子弟无法相救，像这样不学习古人制度则无法长久。
当时不少大臣，特别是李斯的上司王绾，认为原楚国、燕国、齐国等地的领土都远离秦国，主张实行分封，授各地贵族予世袭的诸侯名份，惟身为廷尉的李斯认为分封制是周朝诸侯混战的根源，他大胆地反驳道，周制订的这个政策已经证明是一个政治灾难。
周王室的亲戚一旦取得了他们的土地，立刻互相疏远和进行战争，而天子则无力阻止他们，所以结论是“置诸侯不便”。他力排众议建议实行郡县制，并得到秦始皇的采纳。
郡县制度的产生，并不始自秦国或秦朝，但在全国范围内在制度层面予以整齐划一，是由秦始皇始。博士淳于越的建议反映了秦制与治理传统之间的某种断裂。
扩展资料：
郡，是中央政府以下最高一级地方行政机构。秦始皇统一六国后，国土空前广袤，分天下为三十六郡。“郡”设郡守、郡尉、监御史等职官，分掌行政、兵事、监察职责。
郡守是郡的最高行政长官，对上承受中央命令，对下督责所属各县。设置于少数民族聚居地的同级地方行政机构成为“道”。县级一下有“乡”、“里”两级地方基层行政机构。此外，还有负责地方治安并兼管公文传递的“亭”。
县，是郡的下级行政机构。县的长官称县令,由朝廷任命，主要任务是治理民众，管理政财、司法、狱讼和兵役。郡守通过每年的考核和平时的检查，对县令的工作进行考察。
参考资料来源：百度百科——郡县制