Pacto da Lâmina não usa Carisma
O Pacto da Lâmina diz:
You can use your action to create a pact weapon in your empty hand.
You can choose the form that this melee weapon takes each time you
create it (see the Weapons section for weapon options). You are
proficient with it while you wield it. This weapon counts as magical
for the purpose of overcoming resistance and immunity to nonmagical
attacks and damage.
Não há nada aqui que diga que o bruxo empunha a arma usando carisma. Nada no pacto indica que as armas funcionem de maneira diferente da maneira como são tratadas normalmente por qual estatística é usada para calcular o dano delas. As únicas coisas que mudam são poder invocar a arma e mudar a forma.
Talvez você esteja confundindo isso com o recurso Hex Warrior do Hexblade Warlock:
Whenever you finish a long rest, you can touch one weapon that you are proficient with and that lacks the two-handed property. When you attack with that weapon, you can use your Charisma modifier, instead of Strength or Dexterity, for the attack and damage rolls.
Nesse caso, o Hex Warrior permite que você use o Carisma para jogadas de ataque e dano.
É com você
As regras geralmente não determinam como algo deve ser descrito narrativamente. Geralmente esse é o trabalho do Mestre, possivelmente em conjunto com o jogador. Geralmente é deixado para a mesa decidir como uma regra / mecânico se traduz em história, e é esse o caso aqui.
Na realidade, lutar com uma arma nunca é inteiramente sobre força, destreza ou qualquer outra estatística, mesmo que as regras digam que é isso que acontece. A mecânica do jogo nem sempre se traduz em uma narrativa fácil.
De fato, as pontuações de habilidade são conceitos muito nebulosos que abrangem muitos aspectos de um personagem. Isso significa que geralmente existem muitas maneiras de serem descritas narrativamente em uma mesa.
Encontre uma maneira de descrevê-lo que funciona para a sua mesa. Ou, não chame atenção especial para isso. Só porque o mecânico usa o carisma não significa que você precise descrevê-lo de forma diferente se não quiser ou se não houver nada que se encaixe corretamente.