Muitas coisas!
A lista a seguir aborda casos obscuros que exigem que você saiba as pontuações de habilidade do personagem, mas são insignificantes em 90% dos jogos.
Força
A pontuação de Força determina quantos quilos de peso seu personagem pode levantar, carregar ou empurrar (usando os Índices de Habilidade, PHB 176)
Ele também determina o quão longe e quão alto seu personagem pode pular. (Tipos especiais de movimento, PHB 182)
A pontuação de Força do personagem também é usada para saber se a velocidade do seu personagem sofre de usar armadura pesada. (Armadura e Escudos: Armadura Pesada, PHB 144)
Constituição
Determina quanto tempo seu personagem pode suportar ser imerso em água gelada. (Wilderness Hazards, DMG 110)
Inteligência
A pontuação da Inteligência determina o quão rápido você pode se mover no Plano Astral. (Plano Astral, DMG 47)
Carisma
O Charisma Score é usado para rastrear a lealdade dos NPCs para você ou seu grupo. (Índice de fidelidade, DMG 93)
Se o seu Mestre permitir multiclasse, os Índices de Habilidade determinam o que você pode ou não usar em multiclasse. (Pré-requisitos de Multiclasse, PHB 163)
Se o seu Mestre permitir o Feats, alguns desses talentos também exigem uma pontuação mínima de habilidade. (Talentos, PHB 165)
Mas talvez o uso mais importante de manter o controle de um Índice de Capacidade é determinar qual pontuação você pode querer aumentar conforme você sobe de nível, especialmente com pontuações ímpares.
Em resumo, você está certo de que precisaria usar seus modificadores de habilidades a maior parte do tempo, mas escrever a pontuação não dói; você se acostuma a ver uma partitura e dizer ao modificador de qualquer maneira.