中日两国的文化交流，源远流长。在工具书方面，早在公元九世纪，就有日本僧人空海根据中国南朝梁朝顾野王所撰字书《玉篇》，编写了《篆隶万象名义》（日本天长七年，公元803年以后完成）。公元十世纪，又有日本学者源顺所著《倭名类聚钞》（简称《倭名钞》，日本承平年间，公元931－938年完成）问世。这两部书是日本最早的有关汉字和汉语词汇的工具书。
　　但是，《篆隶万象名义》以汉文注汉字，实际上是一部日本版的《玉篇》简编，还算不上汉日词典。而《倭名类聚钞》按天地、人伦等门类排比名物，解说音义出典，则更接近类书或百科事典，不过它用万叶假名标记和名，也算是开汉日双语词典之先河。
　　在日本方面，编写汉日双语语文词典还是近代的事。迄至现代，已出版了大小中日双语语文词典多种。
　　中国方面记述日语词汇的，就目前所见，有南宋罗大经《鹤林玉露》所载二十条日语词义，这是时代最早的。明代李言恭的《日本考》，在语言文字方面亦多有记述。但这些都是零星的介绍，而且《鹤林玉露》多少还带有一种猎奇的色彩，《日本考》只列词表，也很难说是工具书，更称不上双语语文词典。
　　中国编写大型的汉日双语语文词典是解放以后的事。60年代初，商务印书馆以《现代汉语词典》为蓝本组编我国第一部《汉日词典》，收词四万余条，由原国家出版局、商务印书馆通过中日友协、日中友协与日本大安书店订立合同，准备在中日两国出版发行，并已打出校样。嗣因文革开始，遂被迫弃置。1975年全国词典规划会议之后，汉日词典由吉林大学承编。商务印书馆敝帚自珍，上述《汉日词典》稿曾由当时的商务借给吉林大学汉日词典编辑部作为他们编写《汉日词典》的参考材料，幸承不弃而多所采择。
　　1978年中日和平友好条约签订后，商务印书馆又有编纂汉日双语语文词典之议。同仁等鉴于文革前的商务《汉日词典》收词与释义均已不敷应用，同时，多年来汉语语词方面的研究成果亦有必要加以吸收，乃决定另行规划，重新编写。新编稿仍以中国社会科学院语言研究所词典编辑室所编《现代汉语词典》为蓝本，同时参照商务印书馆《新华字典》、黎锦熙《国语词典》、吕叔湘等《现代汉语八百词》加以补充，包括现代汉语普通话的字、词、词组、熟语、成语以及一部分科技词汇和常见的方言等，共收八万余条，例句亦不下六万，命名为《新汉日词典》。
　　创业维艰，更新亦复不易。八度寒暑，始成是编。考虑到中日两国读者使用方便，并且便于就教于两国方家，乃于1981年由商务印书馆与日本小学馆签约合作，决定在中日两国同时发行。
　　本词典上承前述商务印书馆组编我国第一部汉日词典的编纂大意，刻意追求的是如何把现代汉语的基本词义用现代日语忠实、准确地表达出来，以为新时代中日两国读者更好地服务。然而确切地掌握并表达词义是很不容易的事，同仁等在编写过程中虽然兢兢业业，如临深履薄，但限于水平，错误及缺点仍恐不免。切望中日两国读者及专家不吝金玉，惠予指正。
　　此外，为适应日本读者的需要，商务印书馆应小学馆的要求，本词典的日本版由小学馆在日本邀请学人，斟酌增损，所以中日两种版本不尽相同，尚希两国读者垂鉴。