No geral, eu diria que ninguém é quase certamente a resposta. Nós somos repetidamente falados através dos livros que a opinião aceita no universo é que Voldemort estava apenas com medo de Dumbledore. Por exemplo, Hagrid diz:

'[...] One o' the only safe places left was Hogwarts. Reckon Dumbledore's the only one You-Know-Who was afraid of. Didn't dare try takin' the school, not jus' then, anyway.'

Harry Potter and the Philosopher's Stone - p.45 - Bloomsbury - Chapter 4, The Keeper of the Keys

Para mim, talvez o mais strong indicador disso seja o título do capítulo 36 de Harry Potter e a Ordem da Fênix : O Único que Ele Sempre Temeu . Para mim, parece que Rowling está estabelecendo isso como um fato e certamente me faz duvidar que você encontrará outros exemplos em cânone.

No entanto ...

Alguém pode argumentar que ele tem medo do bebê Harry. Ele certamente desconsidera as habilidades de Harry e não o trata como qualquer tipo de rival. Ele é arrogante com ele e faz o esporte dele em seu primeiro encontro no Cemitério em .

No entanto:

He pointed the wand very carefully into the boy's face: he wanted to see it happen, the destruction of this one, inexplicable danger.

Harry Potter and the Deathly Hallows - pp.281-2 - Bloomsbury - Chapter 17, Bathilda's Secret

O único mago que ele temia parecia ser Dumbledore.

McGonagall disse que Dumbledore é o único que o Lorde das Trevas temia. Ela provavelmente sabe, e ela tende a ser precisa e não é propensa a exageros ou hipérboles.

“I know you haven’t,’ said Professor McGonagall, sounding half-exasperated, half-admiring. ‘But you’re different. Everyone knows you’re the only one You-Know – oh, all right, Voldemort – was frightened of.”
_{^{- Harry Potter and the Philosopher's Stone, Chapter 1 (The Boy Who Lived)}}

Hagrid também diz que Dumbledore era o único que o Lorde das Trevas temia, mas ele tem uma tendência a exagerar as coisas por causa de suas próprias emoções. McGonagall disse que parece mais confiável, porque ela se mostra lógica e precisa.

Ele nunca pareceu temer Harry - embora ele quisesse que sua ameaça fosse eliminada.

“Again, Voldemort looked up at the slowly revolving body as he went on, ‘I shall attend to the boy in person. There have been too many mistakes where Harry Potter is concerned. Some of them have been my own. That Potter lives is due more to my errors, than to his triumphs.”
_{^{- Harry Potter and the Deathly Hallows, Chapter 1 (The Dark Lord Ascending)}}

Ele descreveu com medo algumas vezes, como quando perdeu o corpo pela primeira vez, quando percebeu que nenhum Comensal da Morte estava procurando por ele e quando ele não conseguiu a Pedra Filosofal. No entanto, nenhuma dessas vezes ele já mostrou medo do próprio Harry.

Ele temia outras coisas, porém - principalmente coisas relacionadas à morte.

Embora ele apenas temesse um mago , o Lorde das Trevas tinha outros medos - principalmente de morte e coisas relacionadas a ele, como corpos mortos. Dumbledore também diz que teme a escuridão.

“Not while they are merely drifting peacefully below us,’ said Dumbledore. ‘There is nothing to be feared from a body, Harry, any more than there is anything to be feared from the darkness. Lord Voldemort, who of course secretly fears both, disagrees. But once again he reveals his own lack of wisdom. It is the unknown we fear when we look upon death and darkness, nothing more.”
_{^{- Harry Potter and the Half-Blood Prince, Chapter 26 (The Cave)}}

Pelo que Dumbledore diz, também pode implicar que o Lorde das Trevas também teme o desconhecido.