O Lorde das Trevas usando Avada Kedavra nunca desarmou Harry.

Embora seja possível que o Lorde das Trevas tenha ganho o domínio da Varinha dos Anciões, se ele desarmou Harry, isso nunca aconteceu. O Lorde das Trevas tentou usar Avada Kedavra em Harry com a Varinha dos Anciões duas vezes, e isso não fez com que Harry ficasse desarmado naquele momento. A primeira vez que o Lord das Trevas tentou matar Harry com o Elder Wand, Harry quis morrer, e se deixou ser morto.

“Voldemort had raised his wand. His head was still tilted to one side, like a curious child, wondering what would happen if he proceeded. Harry looked back into the red eyes, and wanted it to happen now, quickly, while he could still stand, before he lost control, before he betrayed fear –

He saw the mouth move and a flash of green light, and everything was gone.”
_{^{- Harry Potter and the Deathly Hallows, Chapter 34 (The Forest Again)}}

Harry não foi desarmado como resultado disso, já que ele ainda tinha sua varinha quando se levantou.

“Harry did not dare open his eyes, but allowed his other senses to explore his predicament. He knew that his wand was still stowed beneath his robes because he could feel it pressed between his chest and the ground.”
_{^{- Harry Potter and the Deathly Hallows, Chapter 36 (The Flaw in the Plan)}}

Na segunda vez em que o Lord das Trevas tentou usar o Elder Wand para matar Harry, Harry lança Expelliarmus , e o próprio Lord Dark é desarmado, assim como morto por sua própria rebatida Killing Curse.

“Avada Kedavra!’

‘Expelliarmus!’

The bang was like a cannon-blast and the golden flames that erupted between them, at the dead centre of the circle they had been treading, marked the point where the spells collided. Harry saw Voldemort’s green jet meet his own spell, saw the Elder Wand fly high, dark against the sunrise, spinning across the enchanted ceiling like the head of Nagini, spinning through the air towards the master it would not kill, who had come to take full possession of it at last. And Harry, with the unerring skill of the Seeker, caught the wand in his free hand as Voldemort fell backwards, arms splayed, the slit pupils of the scarlet eyes rolling upwards.”
_{^{- Harry Potter and the Deathly Hallows, Chapter 36 (The Flaw in the Plan)}}

O Lorde das Trevas nunca desarmou Harry, então ele não poderia ter dominado a Varinha dos Elder dessa maneira.

Porque The Elder Wand foi afeiçoado a Harry, não a Voldemort

Uma varinha escolhe o assistente. Para escolher um, ele tem que ser dado pelo criador (como se Harry tivesse recebido sua varinha por Olivaras no PS) ou ser levado à força, vencido em batalha (como se Harry pudesse usar o Draco na DH). Em toda a série, vemos vários casos de varinhas emprestadas que não atendem bem seus usuários.

Voldemort não ganhou The Elder Wand de seu legítimo dono (Dumbledore) - ele tirou do túmulo. Draco Malfoy deveria ser seu legítimo dono, pois ele havia desarmado Dumbledore segurando-o (mas não o reivindicou). Mas Draco foi derrotado por Harry, então a varinha escolheu Harry e estava relutante em servir Voldemort.