Minha sugestão seria Utopia por Sir Thomas More, escrita em 1516. Nele, More fornece uma descrição muito detalhada de uma sociedade ficcional, religião e sistema político na igualmente fictícia ilha americana de Utopia.
As primeiras edições chegaram com um mapa, reminiscente das que você verá no prefácio dos livros de Nárnia e Senhor dos Anéis.
É claro que existem muitos exemplos anteriores de pessoas criando sociedades ficcionais e ilhas fictícias (veja-se: a república ideal de Platão e a Ogígia de Homero), mas acho que isso realmente se aproxima muito do âmago da questão do que as pessoas pensam como " worldbuilding ".