Para começar, não é estritamente verdade que os elfos domésticos sejam escravos dos Wizards. Eles são servos de casas específicas (daí o nome). Harry, por exemplo, herda Monstro apenas porque ele herda 12 Largos Grimmauld e os elfos domésticos de Hogwarts servem todos os alunos de Hogwarts.
Uma das idéias mais fascinantes sobre os House Elves veio recentemente da discussão Pottermore das Copas do Mundo anteriores, que nos apresenta os elfos africanos da casa chamados Yumboes. Para citar o wiki:
During the 1998 Quidditch World Cup, more stringent security measures were put in place (as a response to the riots that broke out on the night of the final of the previous World Cup). One notable incident was the arrest of the Senegalese team mascots, Yumboes, outside the stadium. The Yumboes responded to the arrest by stealing every bit of food within a ten-mile radius in revenge and vanishing into the night.
Esta representação dos elfos domésticos é drasticamente diferente da que vemos na Grã-Bretanha. (É claro que a última representação dos elfos domésticos é de milhares de elfos armados que cortam os Comensais da Morte. Mas, mesmo assim, isso estava a serviço de seu "mestre", Hogwarts.)
Portanto, não é o caso de todos os elfos domésticos serem escravos e servos, como até mesmo o exemplo de Dobby mostrou. Isso é apenas especulação, mas os próprios Elfos Domésticos (em oposição a apenas elfos) podem até ser um arranjo tipicamente britânico, uma relíquia de sua estrutura de classe formalmente rígida.