Existe uma ligeira diferença entre "existente" e "estar por perto".
Gandalf não podia negar o fato de que o Um Anel não foi destruído, então ele realmente sabia que ainda existia, simplesmente ele considerou perdido por tanto tempo que poderia ser além da possibilidade de sua recuperação.