Voldemort nunca tinha conhecido, entendido & amor reconhecido. Desde a sua infância até se tornar Voldemort, ele lidera uma odiosa & vida invejosa.

Insegurança, desamparo, medo, vazio, ódio & vingança. Voldy se delicia com essas coisas.

Quando Voldy sabe sobre sua conexão com Harry, ele tenta possuir seu corpo & eventualmente controle sua alma.
Harry é um impulsivo & alma irracional. Ele já conheceu a dor & sofrendo antes de seus dias em Hogwarts & ele encontra amor em Hogwarts na forma de Ron, Hermione, Dobby, Dumbledore etc.

No OOTP, ele é feito para parecer um culpado & desdenhada. Até mesmo Dumbledore evita Harry devido ao prenúncio eventual. Ele está cheio de dúvidas, negatividade & um certo senso de vingança contra o ministério.
Insegurança. Cheque de vingança

Quando Voldy ataca o Sr. Weasly & Harry tem uma visão disso. Verificação de desamparo

Quando Voldy desiludiu Harry para acreditar que ele capturou Sirius. Teste de medo

Durante a luta no ministério, quando os membros da OOTP aparecem. Espero

Quando Bellatrix mata Sirius, um (deus) pai para Harry. Verificação de vazio. Cheque de vingança

Harry está mais vulnerável naquele momento, Voldy pode possuir seu corpo & controle sua alma. Mas o poderoso Dumbledore está lá para entregar a melhor linha do livro "Harry, não é como você é parecido. É assim que você não é"

Harry vê os rostos de seus amigos & essas lembranças começam a voltar para ele
Amor, amizade, empatia, sacrifício, gratidão

Todos aqueles que vem imediatamente em sua mente tornam os sentimentos opostos fracos. Então Voldy começa a sentir aqueles sentimentos estranhos em sua mente que ele não pode suportar, não todos de uma vez. Então ele escapa como um covarde do corpo de Harry & o átrio do ministério.

TL; DR; Exorcismo

O poder do amor de Harry, lealdade (por seus amigos) feriu Voldemort quando ele estava tentando possuí-lo. Este poder eventualmente fez com que Voldemort não possuísse Harry.

O amor e as emoções de Harry por Sirius expulsaram o Lorde das Trevas.

O Lorde das Trevas foi forçado a não possuir Harry quando Harry foi dominado pela emoção ao pensar que se ele morresse ele veria Sirius novamente. É quando acontece que ele soltou Harry, foi isso que fez com que o Lord das Trevas ficasse dolorido por Harry e por que ele foi forçado a parar.

“Let the pain stop, thought Harry … let him kill us … end it, Dumbledore … death is nothing compared to this …

And I’ll see Sirius again …

And as Harry’s heart filled with emotion, the creature’s coils loosened, the pain was gone; Harry was lying face down on the floor, his glasses gone, shivering as though he lay upon ice, not wood …”
_{^{- Harry Potter and the Order of the Phoenix, Chapter 36 (The Only One He Ever Feared)}}

Não é o amor da mãe de Harry que torna doloroso para o Lorde das Trevas possuí-lo, não foi doloroso no início - são as emoções do próprio Harry. Dumbledore explica isso para Harry também.

“It is the power held within that room that you possess in such quantities and which Voldemort has not at all. That power took you to save Sirius tonight. That power also saved you from possession by Voldemort, because he could not bear to reside in a body so full of the force he detests. In the end, it mattered not that you could not close your mind. It was your heart that saved you.”
_{^{- Harry Potter and the Order of the Phoenix, Chapter 37 (The Lost Prophecy)}}

O Lorde das Trevas não suportava possuir Harry quando ele estava sentindo muito amor.