Sua interpretação está correta
De acordo com Jeremy Crawford :
Claro, já que Banimento é um feitiço de concentração, existem opções que você poderia tomar para tentar terminar o feitiço se você estiver no mesmo plano que o conjurador, mas não como alvo (como conjurar Magic Missile na pessoa que está se concentrando) nele). E como você disse, se você pudesse de alguma forma acabar no mesmo plano que a criatura banida, você poderia dissipar o feitiço Banimento lá. Mas sim, especificamente o Dispel Magic não funcionaria a menos que seja lançado sobre o alvo da magia Banishment .Dispel magic is cast on a creature, an object, or another phenomenon that is under the effect of a spell. You don't cast it on that spell's caster. To dispel a spell like banishment, you'd have to somehow cast dispel magic on the banished target.