Sim, as flechas mágicas também são melhores em acertar o alvo, não apenas danificando-as. Em nenhuma parte das regras diz que a munição só recebe o benefício de dano de seu bônus de melhoria.
Como não há exceções explícitas associadas à munição em geral ou a flechas mágicas especificamente, a explicação geral sobre o que + Arma mágica X significa se aplica (ênfase minha):
A magic weapon is enhanced to strike more truly and deliver more damage. Magic weapons have enhancement bonuses ranging from +1 to +5. They apply these bonuses to both attack and damage rolls when used in combat.