Não. Harry estava protegido dos Comensais da Morte e dos aliados de Voldemort, não apenas do próprio Voldemort.
Dumbledore declara explicitamente que ao planejar a proteção de Harry em Privet Drive, ele pretendia proteger Harry dos Comensais da Morte, bem como do próprio Lorde das Trevas.
Dumbledore, portanto, queria proteger Harry de Voldemort quando ele conseguiu recuperar um corpo em algum momento no futuro distante. Mas ele também queria proteger Harry a curto prazo da ira dos defensores de Voldemort. Posteriormente, ele lançou um feitiço de proteção que defenderia Harry de qualquer um que desejasse lhe fazer mal."My answer is that my priority was to keep you alive. You were in more danger than perhaps anyone but I realised. Voldemort had been vanquished hours before, but his supporters - and many of them are almost as terrible as he - were still at large, angry, desperate and violent."
(Order of the Phoenix, Chapter 37, The Lost Prophecy).
Além disso, temos algumas dicas sobre a percepção da inexpugnação da Privet Drive de figuras-chave de dentro dos Comensais da Morte. Snape descreve isso como um "lugar de segurança".
"My Lord, the Order of the Phoenix intends to move Harry Potter from his current place of safety on Saturday next, at nightfall."
(Deathly Hallows, Chapter 1, The Dark Lord Ascending)
E Voldemort diz "nem eu consigo tocá-lo" na Privet Drive.
“But how to get at Harry Potter? For he has been better protected than I think even he knows, protected in ways devised by Dumbledore long ago, when it fell to him to arrange the boy’s future. Dumbledore invoked an ancient magic, to ensure the boy’s protection as long as he is in his relations’ care. Not even I can touch him there..."
(Goblet of Fire, Chapter 33, The Death Eaters)
Presumivelmente, isso significa "todos até e inclusive eu". Essencialmente, seria uma enorme lacuna de segurança apenas proteger Harry de uma pessoa e de uma pessoa apenas (mesmo se essa pessoa fosse Voldemort). Tenho certeza de que o encanto de Dumbledore cobre todos e quaisquer indivíduos que desejem causar dano a Harry. Uma maneira de manter os Comensais da Morte seria impedir que alguém com uma Marca Negra entre na área.
Mesmo se os Comensais da Morte forem entrarem na Privet Drive sob o feitiço de proteção de Dumbledore, acho que as citações acima mostram que Voldemort acredita que o Privet Drive é uma zona proibida por suas forças. A cobertura de segurança percebida pode ser tão eficaz quanto a cobertura de segurança real. Voldemort acredita que nenhum Comensal da Morte pode entrar na Rua dos Alfeneiros. E, como diz RichS, ele tinha uma obsessão específica em pessoalmente matar o próprio Harry; ele não teria confiado essa tarefa a um de seus lacaios.