Eu encontrei. Foi chamado Através da Porta Escondida , por Rosemary Wells, publicado pela primeira vez em 1987.
Antes de postar essa pergunta, não me preocupei apenas em pesquisar no Google. Eu não fiz, porque eu tenho muitas vezes ao longo dos anos e nunca encontrei nada. Depois de postar a pergunta, decidi que provavelmente deveria ter tentado novamente. Eventualmente eu procurei por "livro sobre um menino que encontra uma caverna com uma ruína americana em miniatura" e um dos resultados foi o link goodreads.com que eu postei acima. Assim que vi o título do livro, eu sabia que era isso.
Como pode acontecer quando você lê um livro quando criança, as partes perturbadoras dessa história não parecem tão estranhas. Agora, quando eu penso o quão duro foi, combinado com um tipo de fantasia extravagante como encontrar uma caverna de ruínas de pessoas pequenas, parece estranho que eu gostei tanto. Muitas das resenhas nessa página observam que partes do livro são perturbadoras, e é mais um livro sobre bullying e ser intimidado do que fantasia.