Uma Poção de Voar especificamente não requer concentração.
Na página 141 do DMG, em "Feitiços", menciona especificamente poções como uma exceção à regra da concentração:
... Many items, such as potions, bypass the casting of a spell and confer the spell's effects, with their usual duration.
Então, se a poção não diz que requer concentração, é seguro assumir que isso não acontece. Todas as poções listadas no DMG dizem entre parênteses que elas não exigem concentração, mas seu mestre pode inventar uma poção regrada pela casa que requer exige concentração, então ainda é mais seguro perguntar ao seu Mestre.