Porque os elfos que os possuíram tiraram-nos
De O Silmarillion :
But the Elves were not so lightly to be caught. As soon as Sauron set the One Ring upon his finger they were aware of him; and they knew him, and perceived that he would be master of them, and of all that they wrought. Then in anger and fear they took off their rings.
The Silmarillion V Of the Rings of Power and the Third Age
Já que eles não estavam mais usando seus anéis, Sauron não tinha nenhuma habilidade para controlá-los. Uma vez que ele perdeu o Um, sua habilidade de comandar qualquer dos Anéis de Poder foi perdida 1 ; na verdade, há evidência para sugiro que ele só era capaz de controlar o Nazgûl porque ele tinha os Nove em sua posse física.
1 Daí porque os elfos consideraram seguro colocá-los de volta e começar a usá-los