唐（周）证圣年（695年），分衢州的须江（今江山市）、常山和饶州的弋阳三县市之地设玉山县，以境内有怀玉山而得名，隶江南道衢州，自今有1300多年的历史。明洪武四年（1371年），因漕运不便，从江浙行省改隶江西行省。民国三年（1914年），省下分道，玉山隶豫章道。1945年5月玉山解放初，属赣东北行政区，后属上饶地市（专）区至今。1952年，浙江省江山县官溪乡的内村、外村、后山、中店4个行政村和南坞乡的大桑园、周家墩、黄坳3个政村划归本县管辖。
玉山建县至今已有1300余年历史。始建于唐(周)证圣年(695年)，分衢州须江(今浙江省江山市)、常山和饶州弋阳三县之一部置县，隶江南道衢州。因境内有相传天帝遗玉而成的怀玉山而得名。从建县至宋、元朝期间，玉山一直隶江浙行中书省，属江南东道信州。至明朝洪武四年(1371年) 建县前，玉山现辖地域在春秋战国时先后属吴、越、楚三国。
秦朝，金沙溪以东属会稽郡太（读“达”）末县，金沙溪以西属九江郡余汗（读“干”）县。
汉代，初沿旧属，至献帝初平三年（192年），分太末立新安县，东部属新安；建安十五年（210），析余汗东境设葛阳县，隶鄱阳郡，县西境属葛阳县；建安二十二年，又分新安设定阳县，县东境属定阳。
三国时，为吴国领地。
西晋时期，初属东阳郡，隶吴州；至太康元年（280年），改新安为信安，县东境属信安、定阳两县地。
南朝（陈）天嘉三年（562年），东境随信安、定阳县改隶金华郡。
隋朝初，改郡为州，并定阳入信安，东境属信安县，隶婺州；开皇十二年（592年）改葛阳为弋阳，西境相应属弋阳县。
唐初，分属衢州常山、须江（今江山市）县和饶州弋阳县；证圣（周）年（695年），分须江、常山与弋阳之一部署县，因地有武安山，名武安县，隶江南道衢州；神龙元年（705年）改武安（武则天省“武”字）为玉山县，以境有怀玉山而名；天宝元年（742年）衢州改为信安郡，玉山亦随隶信安郡；乾元元年（758年）改信安郡为信州，玉山相应属信州，隶江南东道。
宋朝，初沿旧属，至建炎四年（1130年），江西路、江东路合并为江南路，玉山隶江南路；绍兴元年（1131年），复分江南路为江南东路、江南西路，玉山隶江南东路。
元朝，至元十四年（1277年），县属信州路，隶江浙行中书省；至正二十年（1360年），改路为府，县属广信府，仍隶江浙行中书省。
明朝，洪武四年（1371年），因隶江浙漕运不便，随广信府改隶江西行省；洪武九年废行中书省，设承宣布政使司，下分道，县随府隶江西承宣布政使司湖东道。
清朝（1644—1911年），属江西省广信府。
民国元年（1912年）冬，废府、州，县直隶江西省；3年，全省分四道，县隶豫章道；15年废道，县仍直隶于省；20年，省下设行政区，玉山隶第九行政区（驻上饶）；21年以后，江西五次改变行政区划，玉山均属第六行政区（驻上饶）。
第二次国内革命战争时期，县西北山区为赣东北革命根据地之一部，先后建立过玉山县和怀玉县苏维埃政府。
民国38年（1949年）5月解放至8月，县隶赣东北行政区；9月行政区撤销，改隶上饶专区；1968年改专区为地区，县仍隶上饶地区；1980年地区改为行政公署，县仍隶之；2000年10月撤销行政公署，改市辖县，玉山隶上饶市管辖。
玉山自建县以来，县域范围曾有两次较大的变动：一是唐朝乾元元年（758），须江县南乡的镇头墟即下镇墟划归县辖；二是中华人民共和国建立后，于1952年5月，浙江省江山县（现为市）官溪乡的内村、外村、后山、中店4个行政村，37个自然村和南坞乡的大桑园、周家墩、黄坳3个行政村，28个自然村，合计1800户，划归县辖。
