Eu acho que não.

Antes que eles tenham qualquer contato com Harry (ou pelo menos, antes que ele tenha uma parte da alma de Voldemort transmitida nele), há linhas no primeiro capítulo da Pedra Filosofal para sugerir que eles realmente é apenas um trabalho desagradável:

The Dursleys had a small son called Dudley and in their opinion there was no finer boy anywhere. […]

Mrs Potter was Mrs Dursley’s sister, but they hadn’t met for several years; in fact, Mrs Dursley pretended she didn’t have a sister, because her sister and her good-for-nothing husband were as unDursleyish as it was possible to be. […] The Dursleys knew that the Potters had a small son, too, but they had never even seen him. This boy was another good reason for keeping the Potters away; they didn’t want Dudley mixing with a child like that. […]

Mr Dursley couldn’t bear people who dressed in funny clothes – the get-ups you saw on young people! […]

Mr Dursley, however, had a perfectly normal, owl-free morn- ing. He yelled at five different people. He made several important telephone calls and shouted a bit more. He was in a very good mood until lunch-time. […]

Mrs Dursley had had a nice, normal day. She told him over din- ner all about Mrs Next Door’s problems with her daughter and how Dudley had learnt a new word (“Shan’t!”).

Parece que eles são bastante intolerantes com qualquer coisa diferente, estragam seus filhos e se esforçam muito para se separar do mundo mágico. Este comportamento parece bastante consistente com o modo como eles tratam Harry quando ele está sob o seu teto. Em particular, a primeira linha ("não havia nenhum menino mais bonito em qualquer lugar") soa exatamente como eles tratam Harry: eles sabem que Dudley é o número um, e eles querem que Harry também o conheça.

Acho que você pode estar tentando dar-lhes mais desculpas do que merecem. Eles são apenas pessoas desagradáveis (e continuam sendo desagradáveis quando Harry está longe deles por um longo tempo - testemunha o pegando no final do semestre).

E se Harry realmente estivesse tendo um efeito negativo nas pessoas ao seu redor por causa do fragmento de alma de Voldemort, isso não teria um efeito perceptível em seus amigos em Hogwarts? Não vejo nenhuma evidência de que Rony ou Hermione ficaram tão cautelosos quando Harry estava por perto como quando (por exemplo) usavam o medalhão.

(Lembre-se de que Harry não é um horcrux completo; ele acabou de ter um fragmento de alma dentro dele Possivelmente, isso faz a diferença, ou talvez seja o fato de que ele tem sua própria alma, o que anula a maioria dos efeitos de Voldemort.

Não. Os Dursleys odiavam a magia antes que Harry chegasse. Além disso, tia Marge é pior que os Dursleys para Harry, e ela é exposta a Harry de vez em quando. E como uma garotinha, Petúnia odiava magia (na maior parte do tempo) e se ressentia com Lily.

Harry não era um objeto malvado, então ele não deveria afetá-los dessa maneira.

Não parece que as todas Horcruxes fazem as pessoas agirem mal quando estão ao seu redor. Gina estava em torno do diário bastante, e apesar de Tom Riddle possuí-la ter um efeito sobre ela, ela não era mais "média" quando ela tinha, ela está até chateada com a Sra. Norris sendo Petrificada.

“Ginny Weasley seemed very disturbed by Mrs Norris’s fate. According to Ron, she was a great cat-lover. ‘But you hadn’t really got to know Mrs Norris,’ Ron told her bracingly. ‘Honestly, we’re much better off without her.’ Ginny’s lip trembled.”
_{^{- Harry Potter and the Chamber of Secrets, Chapter 9 (The Writing on the Wall)}}

O medalhão é a única Horcrux mostrada tornando as pessoas mais malvadas, as outras não parecem ter esse efeito, apesar de algumas, como o anel, terem diferentes efeitos negativos nas pessoas. Parece provável que o significante do medalhão fosse resultado dos encantamentos de proteção especificamente.

‘Yes,’ said Hermione, now turning the fragile pages as if examining rotting entrails, ‘because it warns Dark wizards how strong they have to make the enchantments on them.”
_{^{- Harry Potter and the Deathly Hallows, Chapter 6 (The Ghoul in Pyjamas)}}

Como o pedaço de alma em Harry não foi colocado lá intencionalmente, ele não teve nenhuma das maldições que Horcruxes normalmente teria, então ele não se tornou um objeto maligno como uma Horcrux faria.

JKR: And so this part of it flies off, and attaches to the only living thing in the room. A part of it flees in the very-close-to-death limbo state that Voldemort then goes on and exists in. I suppose it’s very close to being a Horcrux, but Harry did not become an evil object. He didn’t have curses upon him that the other Horcruxes had. He himself was not contaminated by carrying this bit of parasitic soul. The only time he ever felt it stirring and moving was in Order of the Phoenix, when he himself goes through a very dark time.
_{^{- PotterCast (Dec 23, 2007)}}

Desde que ele não foi amaldiçoado como Horcruxes, ele não deve ter um efeito negativo sobre as pessoas.

Além disso, ele não teve esse efeito em mais ninguém que ele estava por perto.

Se Harry tivesse o mesmo efeito sobre as pessoas que o medalhão, ele estava em torno de muitas outras pessoas por tempo suficiente para afetá-las - o medalhão entrou em vigor em Harry, Ron e Hermione muito rapidamente. Depois de pegar o medalhão a cada doze horas, eles tiveram doze horas de efeitos, ele funciona imediatamente.

“Every twelve hours or so, they passed the Horcrux between them as though they were playing some perverse, slow-motion game of pass the parcel, where they dreaded the music stopping because the reward was twelve hours of increased fear and anxiety.”
_{^{- Harry Potter and the Deathly Hallows, Chapter 15 (The Goblin’s Revenge)}}

Se estar perto de Harry tivesse um efeito comparável, ele apareceria em todos que estão ao seu redor, não apenas nos Dursleys, então é altamente improvável que o comportamento dos Dursleys esteja relacionado ao pedaço de alma em Harry.