A ocupação humana do Japão remonta ao Paleolítico, e a data mais consensual para a primeira presença humana neste arquipélago é de 35 000 a.C., quando povos caçadores-coletores chegaram às ilhas vindos do continente através de istmos. As primeiras ferramentas japonesas de pedra lascada datam dessa época, e as de pedra polida datam de 30 000 a.C., sendo as mais antigas do mundo.
Ainda não se sabe por que essas ferramentas surgiram tão cedo no Japão. Em 1985 mergulhadores fizeram descobertas de estruturas submersas em Yonaguni-jima, em Okinawa, o que atraiu muitos historiadores, arqueólogos e cientistas até ao sítio arqueológico, onde realizaram estudos para a sua datação.
Chegaram à conclusão que os monumentos têm mais de 11 000 anos de idade, os mais antigos do mundo. Os cientistas confirmam que esses monumentos encontrados submersos na costa do Japão são a evidência de que pode ter existido uma civilização desconhecida, anterior à Idade da Pedra. A primeira cultura cerâmica e civilização a se desenvolver no Japão foi o povo nômade Jomon que não desenvolveu a agricultura nem a criação de animais.
Entre 250 a.C. e 250 d.C., a cultura nômade Yayoi, vinda de Kyushu, substituiu a anterior e trouxe o cultivo de arroz, ferramentas em metal e a confecção de roupas.