E eis que o livro diz
Permanent Bonuses: Ability bonuses with a duration greater than 1 day actually increase the relevant ability score after 24 hours. Modify all skills and statistics related to that ability. This might cause you to gain skill points, hit points, and other bonuses. These bonuses should be noted separately in case they are removed.
E assim a pergunta é respondida. Exceto por perder um bônus permanente, a redução real em um atributo é super incomum - dano / dreno não perde os pontos.