Você não precisa pousar para evitar cair na maioria das circunstâncias
Não há menção a isso na entrada SRD sobre o movimento de vôo, que apenas menciona o seguinte sobre voo e queda:
If a flying creature is knocked prone, has its speed reduced to 0, or is otherwise deprived of the ability to move, the creature falls, unless it has the ability to hover or it is being held aloft by magic, such as by the fly spell.
Note que isso requer a capacidade de se mover , não de movimento. Mesmo sem passar o mouse ou magia você pode voar no lugar se você estiver livre das condições mencionadas.
É possível que o seu Mestre tenha aplicado erroneamente a linguagem da Attemement Totêmica (Águia) do Bárbaro a todo o vôo :
While raging, you have a flying speed equal to your current walking speed. This benefit works only in short bursts; you fall if you end your turn in the air and nothing else is holding you aloft