Nesta situação, seu personagem deve ser capaz de escolher entre usar esse recurso de classe ou não, mantendo, assim, a capacidade de excluir esse modificador negativo. No entanto, se você (por algum motivo) decidir usar esse recurso, incorrerá no modificador negativo.
Eu deduzo esta conclusão de dois pontos:
-
Em um sentido de interpretação, o personagem é capaz de tomar decisões e perceber as coisas como um indivíduo, independentemente dos recursos da classe, já que o Sentinel Raven não está impondo esse status no personagem contra sua vontade.
-
A citação de Unearthed Arcana: Warlock & Assistente lê
While the raven is perched on your shoulder, you gain darkvision with a range of 30 feet and a bonus to your passive Wisdom (Perception) score and to Wisdom (Perception) checks. The bonus equals your Charisma modifier.
(ênfase minha)
Na ausência de regras específicas, eu me inclino para os termos "ganho" e "bônus" para inferir uma implicação positiva, permitindo que você escolha a melhor das duas possibilidades.