O kyber crystal usado em um sabre de luz afeta o usuário?

Não de maneira significativa. Na verdade, é exatamente o oposto. No atual cânon, o cristal é afetado pelo usuário.

No romance Ahsoka , ela pega os cristais de kyber do sabre de luz de um Inquisidor e os coloca em seu punho. Eles então mudaram de cor em resposta à sua sintonização.

Before she could even consider shouting a warning, the red lightsaber burst into a mess of noise and light. Bright spots pricked at her eyes, and then all was quiet. The creature wasn’t going to bother her anymore.

[...]

Kneeling beside her fallen foe, Ahsoka sifted through the wreckage of his lightsaber hilt. The crystals that had powered his lightsaber were no longer contained by metal, but their song had not dimmed. She held them in one hand, almost shaking as the familiarity of them coursed through her, while the other hand retrieved the half-finished hilts she carried with her.

[...]

Her mind’s eye sorted the preassembled components and those she had just retrieved into order, locking each into place with the others. When Ahsoka opened her hands, she was not surprised to find that two lightsabers, rough and unfinished, were waiting.

They would need more work, but they were hers.

When she turned them on, they shone the brightest white.
_{Ahsoka - Chapter 28}

O banco de dados de Star Wars diz:

A lightsaber crystal is colorless until first attuned and connected to a Jedi -- at which times it glows either blue or green or, in some rare instances, another shade. From that point on, it retains that hue.
_{Kyber Crystal | Star Wars Databank}

Portanto, todas as evidências indicam que o cristal é o único afetado. Agora, como no cânon atual um cristal está sintonizado com a Força e uma extensão da consciência sensível à Força, é provável que usar um cristal que não seja seu (ou usar o sabre de luz de outra pessoa) tenha algumas desvantagens. Mas isso seria muito parecido com o uso de qualquer arma que não fosse aquela com a qual você estava acostumado.

Em resumo: O cristal funcionará e haverá pouco ou nenhum efeito

Se o cristal não estiver sintonizado com o usuário, ele não poderá usá-lo para o efeito completo

O primeiro exemplo é de Darth Vader: Dark Lord of the Sith parte 1 . Eu não poderia copiar todas as páginas relevantes aqui, mas basicamente Palpatine diz a Vader que seu antigo sabre azul não é mais bom o suficiente para ele porque era uma arma Jedi. Em vez disso, ele precisa sangrar o cristal Kyber e construir um novo. Está implícito que ele perdeu sua luta contra Kenobi porque ele não estava mais em sintonia com a arma.

O segundo exemplo pode ser Luke Skywalker. Ele primeiro usou o mesmo sabre de luz azul (pertencente a Anakin), mas ele não era muito proficiente com ele, perdendo luta e mão vs Vader. Mais tarde, ele construiu seu próprio sabre de luz (verde) com resultados muito melhores (derrotando Vader e os capangas de Jabba)