Neste caso, parece mais que Ollivander está colocando dois e dois juntos.
Ele se lembra de todas as varinhas que já vendeu:
Mr. Ollivander fixed Harry with his pale stare.
“I remember every wand I’ve ever sold, Mr. Potter. Every single wand.
-Harry Potter and the Sorcerer's Stone, Chapter Five (Diagon Alley).
E claramente ele deve se lembrar das varinhas de Draco e Bella.
Agora, vendo-os na posse de Harry, ele claramente supõe que eles foram tomados de seus donos anteriores, e podem de fato ter passado sua lealdade para Harry e companhia.
A próxima parte da citação que você tem em sua pergunta explica isso:
This was the wand of Draco Malfoy.”
“Was?” repeated Harry. “Isn’t it still his?”
“Perhaps not. If you took it —”
“— I did —”
“— then it may be yours. Of course, the manner of taking matters. Much also depends upon the wand itself. In general, however, where a wand has been won, its allegiance will change.”
-Harry Potter and the Deathly Hallows, Chapter Twenty-Four (The Wandmaker).