Dumbledore simplesmente significa que ele não era digno, em sua própria mente, de unir as Relíquias.

Não havia ninguém lá fora que estivesse impedindo Dumbledore de possuir o Cloak ou a Stone, ou permitir que ele possuísse o Elder Wand. Dumbledore se permitiu usar a varinha, e apenas a varinha, porque ele sabia que não era confiável com os outros. Ele explica isso alguns parágrafos antes da sua citação, quando ele conta que encontrou a Pedra da Ressurreição.

"When I discovered it, after all those years, buried in the abandoned home of the Gaunts, the Hallow I had craved most of all - though in my youth I had wanted it for very different reasons - I lost my head, Harry. I quite forgot that it was now a Horcrux, that the ring was sure to carry a curse. I picked it up, and I put it on, and for a second I imagined that I was about to see Ariana, and my mother, and my father, and to tell them how very, very sorry I was...
"I was such a fool, Harry. After all those years, I had learned nothing. I was unworthy to unite the Deathly Hallows, I had proved it time and again, and here was final proof."
_{(Deathly Hallows, Chapter 35, Kings Cross).}

Veja como Dumbledore é seu crítico mais duro. Ninguém mais diz que é indigno de unir as Relíquias. Dumbledore faz essa avaliação de si mesmo. Depois de falhar em mostrar contenção quando confrontado com a Pedra da Ressurreição, ele conclui que ele não deveria ter permissão para possuir a Pedra ou o Manto. Isso é parte do tema em Relíquias da Morte de Dumbledore ter grandes ambições e não confiar em si mesmo com poder.

Ele se permite manter a Varinha dos Anciões somente porque sabe o dano que pode causar em mãos mais perigosas.

"I was fit to own the Elder Wand, and not to boast of it, and not to kill with it. I was permitted to tame and to use it, because I took it, not for gain, but to save others from it."
_{(Deathly Hallows, Chapter 35, Kings Cross).}

Ele é um zelador da varinha mais do que qualquer outra coisa. Porque ele não aceitou "por ganho", ele acreditava que estava "apto" a manejar a Varinha da Élder - embora esteja claro que ele vê isso como a mais rude e menos sutil das Relíquias.