Isso é um tanto especulativo, mas, como mencionado nos comentários, não tenho certeza se há algo mais definitivo para responder:
Sauron passou 1.000 anos no leste após sua derrota pela Last Alliance. Também pelo menos pelo menos muitos desses mesmos homens (seus ancestrais, não especificamente) serviram anteriormente a Morgoth. É inteiramente possível que eles tivessem demonstrações de poder no passado. Combinado com o fato de que não havia essencialmente nenhuma oposição a ele nessas áreas (fora dos Blue Wizards mais tarde, embora Tolkien tivesse opiniões variadas ao longo do tempo sobre quão efetivas elas eram).