O próprio Harry perguntou se ele poderia ir junto

“And if you do,” said Harry quickly, “can I come with you and help get rid of it?”

Dumbledore looked at Harry very intently for a moment before saying, “Yes, I think so.”

“I can?” said Harry, thoroughly taken aback.

“Oh yes,” said Dumbledore, smiling slightly. “I think you have earned that right.”

_{Harry Potter and the Half-Blood Prince}

Daquela troca, podemos ver que, porque Harry pediu para vir junto, Dumbledore concordou em trazê-lo para a Caverna. Harry não estava presente quando Dumbledore foi procurar o Anel de Marvolo e, portanto, ele não teve a oportunidade de perguntar de antemão.

No mesmo capítulo em que Dumbledore dá seu consentimento, Harry mostrou a memória real de Dumbledore Slughorn, permitindo que Dumbledore confirmasse o número de Horcruxes que Voldemort tinha. Tudo graças a Harry. Ele tinha ganhado aquele direito adicional de caçar Horcruxes com Dumbledore.

Dumbledore poderia ter previsto a utilidade de Harry

Dumebledore ensinou Tom Riddle. Ele "conhecia seu estilo" e presumivelmente sua brutalidade também. Ele sabia que Voldemort teria colocado armadilhas para impedir que uma única pessoa agindo sozinhas chegasse à Horcrux.

“This is merely the antechamber, the entrance hall,” said Dumbledore after a moment or two. “We need to penetrate the inner place. Now it is Lord Voldemort’s obstacles that stand in our way, rather than those nature made.”

[...]

“Magic always leaves traces,” said Dumbledore, as the boat hit the bank with a gentle bump, “sometimes very distinctive traces. I taught Tom Riddle. I know his style.”

_{Harry Potter and the Half-Blood Prince}

Então ele teria feito uma estimativa inteligente dos métodos que Voldemort teria usado para impedir que as pessoas alcancem sua Horcrux. Nesse caso, seria:

• A armadilha "Barco":

  Voldemort subestimou a juventude - ele não se importava com o peso, mas com a quantidade de poder mágico que cruzava seu lago. Harry acompanhando não teria desencadeado a armadilha do barco.

• A armadilha "Poção":

  Was this why he had been invited along — so that he could force-feed Dumbledore a potion that might cause him unendurable pain? _{Harry Potter and the Half-Blood Prince}

Dumbledore queria dar a Harry mais "experiência" ao lidar com Horcruxes

Até então, Harry só tinha experiência com uma outra Horcrux: o Diário. Recuperando (e possivelmente destruindo) outro, Harry se sentiria mais confiante de que ele seria capaz de encontrar as outras Horcruxes de Voldemort. Vemos que Harry está empolgado ao recuperar o medalhão Horcrux:

“We did it, Professor!” Harry whispered with difficulty; he suddenly realized that he had a searing stitch in his chest. “We did it! We got the Horcrux!”

_{Harry Potter and the Half-Blood Prince}

(Infelizmente essa alegria não durou muito tempo, mas deu a Harry a confiança de que Voldemort não era imparável).

A resposta de Olorin é muito boa, mas não responde realmente à pergunta "por que a caverna".

Sim, é verdade que Dumbledore levou Harry com ele porque ele perguntou. Mas ele o levou para a caverna porque ele tinha quase certeza, que havia uma Horcrux naquela caverna:

And then Harry remembered why he had been eager to come to Dumbledore’s office in the first place.
‘You’ve found one? You’ve found a Horcrux?’
‘I believe so.’
Rage and resentment fought shock and excitement: for several moments, Harry could not speak.
‘It is natural to be afraid,’ said Dumbledore.
‘I’m not scared!’ said Harry at once, and it was perfectly true; fear was one emotion he was not feeling at all. ‘Which Horcrux is it? Where is it?’
‘I am not sure which it is – though I think we can rule out the snake – but I believe it to be hidden in a cave on the coast many miles from here, a cave I have been trying to locate for a very long time: the cave in which Tom Riddle once terrorised two children from his orphanage on their annual trip; you remember?’
_{Harry Potter and the Half-Blood Prince, Chapter 25 - The Seer Overheard}

Para responder à sua outra pergunta: eu não acho que ele esperasse precisar de Harry. Além disso, no próximo capítulo ele diz algo, que me faz pensar que ele não esperava realmente precisar de Harry:

‘The protection was … after all … well designed,’ said Dumbledore faintly. ‘One alone could not have done it … you did well, very well, Harry …’
_{Harry Potter and the Half-Blood Prince, Chapter 25 - The Cave}