漠河市以境内河流命名。漠河古称“木河”“末河”,因河水黑如墨,又称“墨河”。又因河水曲折旋转若石磨之转动,亦称“磨河”。“墨”“磨”同音,渐沿用“漠”。旧石器时代有远古人类聚落。春秋战国时为东胡活动区域。汉代为鲜卑活动区域。隋唐时蒙元室韦活动区域。辽金时为上京蒲与路所辖。元时属蒙古贵族铁木哥斡赤斤的封地,后改为辽阳行省蒲与路管辖。明代设奴儿干都司木河卫。清代初属盛京总管府管辖。1662年(清康熙元年),属镇守宁古塔等处将军管辖。1685年(清康熙二十四年),后于黑龙江城(瑷珲àihuī)设立黑龙江副都统,漠河为黑龙江副都所辖。1691年(清康熙三十年)设布特哈总管衙门,漠河境内原为黑龙江城所辖的鄂伦春、索伦、奇勒尔等牧猎地区,改属布特哈巡查与管辖。1882年(清光绪八年),漠河划归兴安城总管衙门。1888年,北洋政府于此处创办漠河金矿总局,为黑龙江地区近代工业开创了先河。1907年(清光绪三十三年),兴安城总管衙门裁,撤黑龙江将军衙门改行省。1908年(光绪三十四年)设黑河府,今漠河地域则隶属黑河府管辖。1909年(清宣统元年),在漠河设立总卡衙门,为瑷珲道所辖。1914年(民国三年),漠河总卡衙门改为漠河设治局驻漠河街,管辖额尔古纳河下游珠尔干河和漠河两处总卡。1917年(民国六年),漠河设治局改升为漠河县,为二等县,隶属于黑河道辖制。1929年(民国十八年),废道制,漠河县改由省直辖,直属黑龙江省公署,为一等县。1934年,日军侵占漠河后成立伪漠河县公署,定丙级县,隶属伪黑河省。1945年,苏联红军对日宣战,海陆空三军对漠河日军发起进攻,同年8月13日漠河全县光复。1947年3月,解放军解放漠河全境,同时撤销县制并入呼玛县,9月,漠河复归黑龙江省领导。1948年,土改运动结束后,在原漠河县设立呼玛县第五行政区,下辖漠河、额木尔、马伦、开库康4个乡。1958年,撤销漠河区,改设漠河、额木尔两个人民公社。1970年,开发大兴安岭北部林区,在今漠河县境内新设古莲和阿木尔两个行政区。1973年8月17日,古莲区与古莲林业局实行政企合一体制。1976年,将阿木尔西部划出,成立图强区,古莲、阿木尔、图强三个区均为县级政企合一体制,均隶属于大兴安岭地区领导。1980年1月,古莲林业局更名为西林吉林业局。1981年5月14日,国务院批准成立漠河县,将漠河、兴安两个公社和阿木尔、图强、古莲3个行政区及富克山待开发无人区划归漠河县,与西林吉林业局实行政企合一管理体制。县人民政府于同年8月16日在西林吉镇成立,归黑龙江省大兴安岭地区行政公署领导。1984年,公社改为乡。至1990年全县辖西林吉镇、图强镇、劲涛镇、漠河乡(下设3个行政村)、兴安乡(下设4个行政村)。1993年12月,国务院批准兴安乡撤乡变镇。1997年,成立西林吉镇黑山村。2001年,将兴安镇黄花岭村并入大河西村。2005年12月,漠河乡更名北极乡。全县辖西林吉镇、图强镇、劲涛镇、兴安镇、北极乡4镇1乡。2011年7月,劲涛镇更名阿木尔镇。2011年1月,北极乡撤乡设镇。2014年2月,黑龙江省民政厅批准,成立古莲镇。2018年2月22日,民政部批复撤销漠河县,设立县级漠河市,以原漠河县的行政区域为漠河市的行政区域。2020年,完成国有林区改革,漠河市与西林吉林业局“政企分开”,组建西林吉林业局(现名漠河林业局)。