Os Numenoreanos tinham cidades e refúgios na Terra-média antes de Sauron ser trazido para Númenor. De fato, sua arrogância em relação aos numenoreanos era parte da razão pela qual Ar-Pharazon decidiu entrar em guerra com ele.
And sitting upon his carven throne in the city of Armenelos in the glory of his power, he brooded darkly, thinking of war. For he had learned in Middle-earth of the strength of the realm of Sauron, and of his hatred of Westernesse. And now there came to him the masters of ships and captains returning out of the East, and they reported that Sauron was putting forth his might, since Ar-Pharazôn had gone back from Middle-earth, and he was pressing down upon the cities by the coasts; and he had taken now the title of King of Men, and declared his purpose to drive the Númenoreans into the sea, and destroy even Númenor, if that might be.
(Akallabeth)
Naturalmente, o enorme exército que Ar-Pharazon reuniu teve que pousar em um porto, não apenas em algum lugar no deserto.
But the fleet came at last to that place that was called Umbar, where was the mighty haven of the Númenoreans that no hand had wrought.
(Akallabeth)
Assim, ele certamente teria sabido que os numenoreanos sobreviveram à Queda em geral, mesmo antes, já que nem todos viviam em Numenor. E certamente podemos suspeitar que alguns dos fiéis viveram na Terra-média para escapar da perseguição de Sauron e Ar-Pharazon.Um paraíso específico dos fiéis é chamado como sendo fundado mesmo antes de Sauron ser levado a Numenor:
2350 Pelargir is built. It becomes the chief haven of the Faithful Númenoreans.
(SdA, Apêndice B)
Não é até 3262 que Sauron é levado a Numenor, e em 3319 que temos a Queda de Númenor, na qual Sauron perece. Em 3320, Arnor e Gondor são fundados e Sauron retorna a Mordor. Mas note que é mais do que cem anos antes de Sauron atacar os Numenoreanos no Exílio:3429 Sauron attacks Gondor, takes Minas Ithil and burns the White Tree. Isildur escapes down Anduin and goes to Elendil in the North. Anárion defends Minas Anor and Osgiliath.
(SdA, Apêndice B)
Então ele teve bastante tempo para aprender sobre os reinos à sua porta no período intermediário, se ele ainda não soubesse sobre eles. Que dado Pelargir tinha sido em torno de mais de mil anos neste momento, você acha que ele já teria!
Eu suspeitava que Sauron supôs que os líderes dos Fiéis sobreviveram de qualquer maneira, desde que eles se rebelaram contra o rei e Sauron e foram a bordo de seus navios antes da Queda:For Elendil had remained in Rómenna, refusing the summons of the King when he set forth to war; and avoiding the soldiers of Sauron that came to seize him and drag him to the fires of the Temple, he went aboard his ship and stood off from the shore, waiting on the time.
(Akallabeth)