Isso é especulação, mas acho que é preciso. Feitiços carregam uma certa energia que fará algo específico no impacto com um alvo. Por exemplo, Avada Kedavra tem o potencial de, silenciosa e imediatamente, matar uma criatura atingida. Isso é curioso, incomum e muito poderoso. Agora, se não há nada para matar e colide com outra coisa, é lógico que essa energia ou potencial mágico (ou seja lá como você quiser chamá-lo) precisa ser gasta. Também é lógico que esse feitiço seja bastante destrutivo.
Eu acho que a razão pela qual eles são destrutivos / explosivos contra objetos inanimados, mas menos obviamente violentos quando atingem um alvo humano designado é que ao acertar um humano um efeito específico é desencadeado - o que pode ser magicamente forçado a rir ou cair sobre. Mas, se esse efeito mágico literalmente não pode acontecer porque está tentando, por exemplo com Riktusempra, provocar risos, mas não há boca, nem cérebro, nem cordas vocais - então essa energia é gasta como franja, luz e explosões. Então, envie um feitiço específico para um humano ou animal e obtenha o resultado específico, mas envie-o para uma parede ou mesa e ele não poderá fazer seu trabalho e uma violenta explosão de magia é o efeito.