Uma criatura agarrada tem uma velocidade de movimento de zero, então ela só pode ser movida pelo grappler (ou efeito que força a criatura a se mover como thunderwave ).
Texto pertinente do PHB pg.290, em Condições:
Grappled
• A grappled creature’s speed becomes 0, and it can't benefit from any bonus to its speed.
E sob as regras do Grappling encontradas no PHB pg.195:
Moving a Grappled Creature.
When you move, you can drag or carry the grappled creature with you, but your speed is halved, unless the creature is two or more sizes smaller than you.
O que significa que a única criatura em movimento é o grappler. Portanto, a localização física da criatura agarrada é totalmente irrelevante pela RAW, já que sua velocidade de movimento é zero de qualquer maneira. Tudo o que importa é a localização do grappler e o terreno em que o grappler está se movendo.