É mais provável que nenhum público naquela época soubesse.
Nunca é dito se alguém, exceto Grindelwald + Voldemort, sabia que Dumbledore tinha a varinha. Afirma-se apenas que as pessoas sabiam sobre a varinha, não sobre o possuidor.
Seu ponto sobre a singularidade da varinha Elder está correto, mas, é mencionado na citação que essas características únicas dessa varinha são reconhecidas por aqueles "aprendidos em wandlore". (Ênfase minha)"Oh yes, yes, it is perfectly possible to trace the wand's course through history. There are gaps, of course, and long ones, where it vanishes from view, temporarily lost or hidden; but it always resurfaces. It has certain identifying characteristics that those who are learned in wandlore recognise [...]
Portanto, somente aqueles que aprenderam no wandlore parecem ser capazes de reconhecer a varinha dos Elder. Eu acredito que você está tomando as referências de filme da varinha para ser canônico. Os filmes mostram características muito distintas da varinha: por ex. os sulcos e a forma única. Isso não é assim no universo canônico, como mencionado acima na citação.
Como você afirmou, tanto Grindelwald quanto Voldemort sabiam que Dumbledore tinha a varinha. Grindelwald, desde que Dumbledore o derrotara. Voldemort só aprendeu isso depois de visitar Grindelwald em sua prisão. Além desses dois, nenhum outro indivíduo teria reconhecido a varinha de Dumbledore. Olivaras certamente não o fez:
'It was a rumour,' whispered Ollivander. 'A rumour, years and years ago, long before you were born! I believe Gregovoritch himself started it. You can see how good it would be for business: that he was studying and duplicating, the qualities of the Elder Wand!'
O fato de que Ollivander o chama de 'boato' e o uso da palavra 'acreditar' prova que ele não tinha certeza se Greg realmente tinha a varinha; então ele definitivamente não podia ter certeza de que Dumbledore tinha isso.
Xenophilius, também, está ciente da existência de Wand, mas inconsciente que Dumbledore tinha:'So where do you think the Elder Wand is now?' asked Ron.
'Alas, who knows?' said Xenophilius, [...]
Portanto, essas duas pessoas (incluindo Greg) estavam cientes da existência da varinha, mas nunca sabiam que Dumbledore a possuía.
Xenophilius também mencionou:
'[...] The trail goes cold with Arcus and Livius. Who can say which of them really defeated Loxias, and which took the wand? And who can say who may have defeated them? History, alas, does not tell us.'
Para aqueles que não ouviram o rumor de Greg de que ele possuía a varinha (Xeno), eles não teriam idéia de que a varinha dos Elder estava com Grindelwald e, subseqüentemente, Dumbledore.
É provável que quem estava presente na batalha de Grindelwald VS Dumbledore viu Dumbledore pegando a varinha, mas isso nunca foi dito.
Além disso, não esqueça que a varinha dos Anciões foi encontrada após a morte de Dumbledore e colocada com ele dentro de seu túmulo. O fato de que era a varinha dos Anciões nunca foi trazida, como presumivelmente conhecido reconheceu essa varinha. Explicado aqui: De quem foi a idéia de colocar a Elder Wand no Dumbledore's Tomb em primeiro lugar, em vez de em algum lugar consideravelmente menos provável ou vulnerável?
Finalmente, eu também gostaria de acrescentar que a varinha dos Anciões não era exatamente "famosa" no tempo de Harry. A varinha dos Anciões era conhecida por vários nomes e, portanto, as pessoas não podiam confirmar que essas varinhas eram todas iguais. (Isso é melhor explicado pela resposta do I Love You.)