Embora eu não tenha preparado nenhum dos livros e eu tenha visto apenas os primeiros 3 ou 4 filmes, eu ainda gostaria de adicionar minha opinião sobre isso, especialmente considerando que eu posso pular nuances ou talvez até mesmo falsas suposições decorrentes de coisas mencionadas nos livros:
Para mim, os Dursleys sempre pareciam ser a pequena família típica morando em uma pequena casa com grandes ambições para seus próprios filhos.
Isso leva ao primeiro problema: Harry não se encaixa lá. À sua maneira, ele é superior aos seus irmãos e não há como eles conseguirem superar isso.
Mas mesmo que eles não soubessem de suas habilidades (IMO, isso não é tão bom nos filmes e eu não sabia até recentemente), eles não permitiriam que Harry visitasse Hogwarts devido ao mesmo razão: Por que permitiriam que Harry visitasse uma escola apenas para convidados "elitista", enquanto seus próprios filhos provavelmente só visitavam escolas públicas? Isso também se encaixa muito bem em todo o tema abusivo.
Então se você assumir que os Dursleys sabiam sobre a verdadeira natureza de Harry (o que eles obviamente fizeram), eles provavelmente não iriam querer dizer a ele: eles não gostam de mágicas, mas eles também não gostariam de dar a Harry um potencial ferramenta para ignorar completamente ou alterar a sua atitude para com ele. Um exemplo típico seria a cena no zoológico com o vidro do terrário desaparecendo graças a Harry. Eu não acho que eles gostariam de ter Harry em casa enquanto ele está tentando fazer esse tipo de travessura (mesmo que seja sem querer de novo). Mas eles também não puderam denunciá-lo, pois isso provavelmente teria suas próprias conseqüências (e também prova, de uma maneira ou de outra, que a família deles falhou essencialmente, contradizendo novamente suas ambições).
Então eles estão presos a ele, e ao mesmo tempo eles tentam mantê-lo o mais baixo possível, possivelmente devido ao medo (de suas habilidades), bem como a inveja (comparando-o com seus próprios filhos) e ódio (desde que ele é capaz de usar magia).
Isso deixa a pergunta por que Dumbledore não interveio: eu acho que isso tem razões similares (dizer a Harry que poderia tornar sua vida ainda mais difícil, por ser ainda mais restrito) e também mantê-lo salvo, essencialmente escondendo-o. Quando Harry é apresentado ao mundo mágico, é bem aparente que as pessoas reconhecem o nome dele. Como tal, ele provavelmente não teria sido salvo em algum lugar no reino mágico (ou em outras famílias sabendo sobre isso). Mas colocá-lo em algum lugar do mundo trouxa (como um orfanato) poderia ter sido arriscado, considerando sua origem e ancestralidade. Enquanto os Dursleys podem não ser perfeitos, eles obviamente estão, pelo menos, cientes de possíveis problemas e eles saberiam "a quem chamar" apenas por precaução - mais eles tentariam ficar longe de todas as coisas relacionadas a magia para não levar ninguém a ver ou aprenda sobre Harry por acidente.