新石器时代的晚期，墨与笔砚几乎同时出现，最初主要使用天然墨。人工墨的发明源于周宣王时期，邢夷开创了这一历史，人工墨的质量、实用性和审美价值远超天然墨，逐渐取代了后者。汉代时，墨的原料开始多样化，如松烟、漆烟和桐烟，通过改进工艺，如模制、入胶等，制成坚固耐用的墨锭。
唐代末期，因战乱，制墨中心南迁至歙州，奚超父子在此地的松林和清澈溪水环境中继续制墨，其墨以其优良质地闻名。南唐时期，李煜赏识奚氏墨，将其儿子任命为“墨务官”，歙州李墨因此名噪一时，徽州成为全国制墨中心。名家如耿氏、张遇等相继涌现，徽州墨业进入第一个鼎盛期。
宋元时期，墨工在传统基础上加入药物，使墨成为药墨，墨艺开始向工艺品发展。明清时期，徽墨制作达到巅峰，产量激增，技艺精湛，产品图案精美，如罗小华、程君房等大师的墨品脱颖而出。清代，绩溪县的汪近圣和胡开文等人对徽墨进行了改良创新，制出如“金不换”的珍贵墨品，如龙香剂墨等，形成了徽墨独特的“落纸如漆，色泽黑润，香味浓郁”的特点，以超漆烟墨最为珍贵。
胡国宾等木雕艺人则是清代至民国时期徽墨制作技艺的传承者，他们的技艺至今在绩溪县上庄得以延续。徽墨制作技艺在历经千年的沉淀中，不仅承载了书写艺术，更成为了一种独特的文化象征。
墨的发明是我国先民对中国文化乃至世界文明的一项重大贡献。徽墨是我国制墨技艺中的一朵奇葩，也是闻名中外的"文房四宝"之一。它是书画家至爱至赖的信物。 它特征鲜明、技艺独特、流派品种繁多、科技内涵丰富，在中国制墨史上占有重要地位。用传统技艺制作的徽墨精品具有多方面的优点，有的“其坚如玉，其纹如犀，写数十幅不耗一二分也”，有的“香彻肌骨，磨研至尽而香不衰”，有的“取松烟，择良胶，对以杵力……滓不留砚”，有的“坚如石，纹如犀，黑如漆，一螺值万钱”，有的“光可以鉴，锋可以截，比德于玉，缜密而栗。