Não, você não teria desvantagem
O texto relevante sobre o juramento é este:
Nada indica que você teria desvantagem com o arco contra outros alvos, somente quando estiver usando outras armas (mesmo se você usá-las contra o seu inimigo jurado).When you make a ranged attack roll with this weapon against your sworn enemy, you have advantage on the roll. In addition, your target gains no benefit from cover, other than total cover, and you suffer no disadvantage due to long range. If the attack hits, your sworn enemy takes an extra 3d6 piercing damage. While your sworn enemy lives, you have disadvantage on attack rolls with all other weapons.