Vou liderar com a descrição de Dumbledore do incidente de Quirrell:
[Harry]: "But why couldn't Quirrell touch me?" [Dumbledore]: "Your mother died to save you. If there is one thing Voldemort cannot understand, it is love. He didn't realize that love as powerful as your mother's for you leaves its own mark. Not a scar, no visible sign ... to have been loved so deeply, even though the person who loved us is gone, will give us some protection forever. It is in your very skin. Quirrell, full of hatred, greed, and ambition, sharing his soul with Voldemort, could not touch you for this reason. It was agony to touch a person marked by something so good."
Então eu vejo dois pontos importantes aqui. Primeiro, Harry não tanto destruiu fisicamente Quirrell como causou uma agonia insuportável. E sim, lembro-me que isso causou queimaduras físicas em Quirrel, mas não acho que isso o teria destruído na medida em que seria preciso destruir uma horcrux. E segundo, isso foi tão doloroso para Quirrell porque ele estava compartilhando sua alma com Voldemort. As Horcruxes não têm almas (além daquelas armazenadas nelas), então elas não estariam sujeitas à mesma dor, e sendo (na maioria das vezes) inanimadas, elas não poderiam sentir a dor de qualquer maneira e então não poderia Não os destrua. No máximo, a parte da alma de Voldemort iria "sentir" a dor (se é que isso fosse possível de alguma forma), mas sabemos que Voldemort não podia sentir quando eles foram completamente destruídos, então ele provavelmente não teria sentido aquela dor em todos. E considere a parte da alma de Voldemort que estava dentro de Harry. Se qualquer um dos horcruxes tivesse sido destruído pelo toque de Harry, teria sido esse.
Então, em resumo, acho que tudo se resume ao fato de que foi a dor que destruiu Quirrell, por compartilhar sua alma com Voldemort, e ser objetos inanimados, sem uma alma para compartilhar, nem a capacidade de sentir dor, menos ser destruído por isso, os horcruxes restantes (com a possível exceção de Nagini) não teriam sido destruídos pelo toque de Harry.