Parece haver uma certa quantidade de habilidade mágica necessária para controlar um cabo de vassoura, inclusive fazê-lo levantar-se do chão.
A Página da Wikia em Broomsticks diz o seguinte:
Suspeito, então, que uma vassoura só reagiria de maneira mágica ao toque de alguém que tenha alguma habilidade mágica; você não iria querer que qualquer trouxa que lidasse com sua vassoura sentisse que era qualquer outra coisa.Long before the International Statute of Wizarding Secrecy came into force, wizards were savvy enough to realise that Muggle neighbours would seek to exploit their abilities. Therefore, if they were to keep a method of flight in their homes, it would have to be unobtrusive and easy to hide. The broomstick was ideal - portable, cheap, and it required no explanation.
Se esse é o caso, eu não acho que um trouxa poderia voar um cabo de vassoura, mas eles certamente poderiam montar um. Da mesma forma que não saber dirigir um carro não o impede de ser um passageiro em um, não ter a habilidade mágica necessária para pilotar um cabo de vassoura não o impediria de estar nas costas de um que voasse por um carro. bruxa ou bruxo (embora não seja tão confortável).