Sua interpretação pode estar um pouco errada, vamos dar uma olhada na descrição da habilidade:
Sharpshooter
You have mastered ranged weapons and can make shots that others find impossible. You gain the following benefits:
Attacking at long range doesn't impose disadvantage on your ranged weapon attack rolls.
Your ranged weapon attacks ignore half cover and three-quarters cover.
Before you make an attack with a ranged weapon that you are proficient with, you can choose to take a -5 penalty to the attack roll. If the attack hits, you add +10 to the attack’s damage.
Você acabou de adicionar um modificador -5 ao seu teste de ataque, você não nega outros modificadores, como Dextery, Fighting Style ou Proficiency.