Para dissipar uma imprecisão que parece estar na sua pergunta (corrija-me se estiver errado sobre isso): os descendentes de Castamir não eram os númenorianos negros.
Os númenorianos negros vêm muito antes, desde o tempo do cativeiro de Sauron em Númenor até sua derrubada no final da Segunda Era, e uma nota de rodapé sobre O Retorno do Rei. O Apêndice A apresenta sua história:
The great cape and land-locked firth of Umbar had been Númenorean land since days of old; but it was a stronghold of the King's Men, who were afterwards called the Black Númenoreans, corrupted by Sauron, and who hated above all the followers of Elendil. After the fall of Sauron their race swiftly dwindled or became merged with the Men of Middle-earth, but they inherited without lessening their hatred of Gondor.
Isso não diz que foi chamado de númenorianos negros, mas parece claro que era um nome dado, e não escolhido.
Também menciona que eles eram os Homens do rei de Númenor, e isso é definido no Akallabeth da seguinte maneira:
Then Tar-Ancalimon, son of Atanamir, became King, and he was of like mind; and in his day the people of Nœmenor became divided. On the one hand was the greater party, and they were called the Kings Men, and they grew proud and were estranged from the Eldar and the Valar.
Portanto, parece mais provável (embora não seja confirmado em nenhum lugar) que os númenorianos negros se auto-identificassem como "homens do rei".
Os descendentes de Castamir se consideravam etnicamente mais puros, porque a linhagem dos reis de Gondor se misturara com Menores de Rhovanion na época de Eldacar, precipitando assim a luta entre parentes, como lemos no Apêndice A:
After the return of Eldacar the blood of the kingly house and other houses of the Dunedain became more mingled with that of lesser Men. For many of the great had been slain in the Kin-strife; while Eldacar showed favour to the Northmen, by whose help he had regained the crown, and the people of Gondor were replenished by great numbers that came from Rhovanion.
Como os homens do rei também eram (em origem) númenorianos etnicamente puros (embora isso não durasse muito), os descendentes de Castamir teriam muito em comum com eles.