Eu percebo que a outra resposta foi aceita, mas estou adicionando isso para completar.
Outra história que se ajusta principalmente à descrição por OP é " Odd John ", de Olaf Stapledon (1935). John é fisicamente subdesenvolvido, mas superhumanamente inteligente, desenvolvendo habilidades como a telepatia.
Há um resumo capítulo a capítulo na página da Wikipedia . Para o capítulo 2:
The First Phase. His parents, and his life from birth
(around 1910) to five years of age. At the age of four, he learns to
speak; nine months later, he learns to count. He claims to learn all
of mathematics, and develops an ability to visualise n-dimensional
space.
O artigo também menciona que havia outros livros anteriores seguindo este enredo geral "Übermensch", como The Hampdenshire Wonder (1911, JD Beresford). Eu posso adicionar outro: HG Wells ' O Alimento dos Deuses , embora nesse caso as crianças também desenvolvam um tamanho fisicamente enorme (e a inteligência é uma consequência dos cérebros maiores, pelo que me lembro) .
Em Odd John e The Food Of The Gods, as crianças superam a inteligência de seus pais em tenra idade (embora um pouco mais tarde no TFoTG, pelo que me lembro) e, finalmente, deixá-las para sempre. Eu ainda não li o Hampdenshire Wonder.
A única parte da descrição do OP que talvez não corresponda a estes é o ciúme do pai; Não me lembro disso e não é mencionado no resumo online de Odd John.