Seu ataque revela você
Não tenho certeza se uma criatura sendo banida faz algum barulho. É possível que a criatura desapareça sem qualquer som, ou que desapareça em um clarão de luz gritando. De qualquer forma, não é isso que vai te dar: é o ataque que você precisa fazer para banir a criatura.
Seta de proibição indica que:
The creature hit by the arrow must also succeed on a Charisma saving throw or be banished. (XGtE, p. 29)
Já que você precisa acertar uma criatura para bani-la, você precisa fazer um ataque. No entanto, as regras sobre atacantes e alvos invisíveis afirmam que:
If you are hidden—both unseen and unheard—when you make an attack, you give away your location when the attack hits or misses. (PHB, p. 195)
Note que ele não diz que você doa sua localização apenas para o alvo do ataque. Quando você ataca enquanto está oculto, perde seu status oculto. Naturalmente, você não se tornaria visível para alguém a quilômetros de distância, mas basicamente qualquer um que pudesse ter sido alertado por um "ow" de seu alvo inicial já foi alertado por seu ataque. (Você não pode nem contornar isso com o Skulker Feat, porque seu ataque precisa ser atingido).