Ele não sairia por motivos médicos, ele estaria saindo (semi-) voluntariamente.
Lembre-se de que Dobby tem uma visão muito distorcida do mundo. Ele cresceu como um escravo dos Malfoy, e isso inevitavelmente influenciará suas idéias sobre como os magos se comportam. Há muitas coisas que os Malfoys fazem que parecem normais a Dobby, porque eles empalidecem em comparação com seus atos reais do mal.
Entre outros, lembre-se que Lucius está sempre ameaçando enviar Draco para Durmstrang, e provavelmente por causa de incidentes muito mais triviais do que uma contusão de Quadribol. Dobby poderia interpretar isso como uma boa ou cuidadosa paternidade, não um desgosto disfarçado para Dumbledore.
A maioria dos pais consideraria (razoavelmente, eu acho) retirar o filho de uma escola em que a criança foi gravemente ferida no campo de esportes. Se os Dursleys trataram Harry como Lucius trata Draco, é fácil acreditar que eles podem puxar Harry se ele estivesse seriamente machucado jogando Quadribol. (Ou, de fato, Harry pode simplesmente optar por sair.)
Dobby subestima o ódio mútuo que existe entre Harry e os Dursleys.