Do IMDb :
Some of the black characters are played by white actors with make-up, particularly those characters who were required to come in contact with a white actress. The person playing the Cameron's maid is not only clearly white, but is also obviously male.
Indiretamente, isso confirma que nem todos os personagens pretos foram retratados por atores brancos.
Também encontrei algumas capturas de tela do filme. Os dois homens no meio não parecem ser atores brancos em traje:
I could also see, given the subject matter and the time that not only were no Blacks hired but none would be willing to act in such a movie.
Isso é mencionado nas curiosidades do IMDb. A questão não era tanto que os negros não queriam estar no filme (pelo menos, não é mencionado, tanto quanto eu posso encontrar no Google), mas sim que os atores brancos não queriam entrar em contato com pessoas negras reais.