汉字传入日本后,促进了日文文字的形成,在这之前,日本并没有文字语言。据日本最古老的史书《日本书记》和《古事记》记载,汉字大约在公元3世纪开始传入日本的。一般认为,公元4世纪末至5世纪初汉字正式传入日本。到6世纪,已开始正式学习汉文,而且以学习真正的汉文为前提的学术界也逐渐形成。

到7、8世纪,汉字逐渐被日本人所接受,日本人撰写的汉诗、汉文已不鲜见,这说明汉字已被日本的知识阶层所掌握。总之,从4世纪后期,日本大和朝廷侵占朝鲜开始,到7世纪后期日本在白村江一战中失利,从朝鲜半岛退出为止,在此期间,随着朝鲜半岛政治形势的改变,一直都有大批所谓“归化人”来日,他们都是朝鲜籍汉人,精通汉文,受到日本朝廷的欢迎,并被赐予姓氏,他们和精通汉文的韩汉人出任史官或博士。随着日本和中国、朝鲜的文化交流日益频繁,日本的一些贵族、文人、商人也开始逐渐具有了汉字、汉文的书写和阅读能力。虽然经朝鲜来到日本的中国人很多,但通过他们带入日本的汉语词,从整体上来看并不是很多。日本人学习汉字,汉文大多是通过文献来学习的。特别是模仿唐朝的律令制度,设立大学以后,大学的教材就是佛教典籍,当时,《文选》等诗文也获得了日本人的喜爱,所以通过佛教传入日语的词汇相当多。

在现代日语形成的过程中,日语用汉字书写的词汇及其使用发生了几次大的变化。明治时期是日语由古代日语向现代日语急剧转变的时期,日语中汉字词汇的使用也呈现出了前所未有的变化,这一时期日语中新出了大量的汉字词汇。现代日语的汉字词汇体系基本上是在那个时期的基础上发展形成的。随着中日两国的交往,汉文典籍不断地传到日本、中国各个时代的汉字、汉语、文化知识不断地被日本人吸收,并与日本文化紧密地融合在一起。