Sim, Vantagem se aplica, já que o você nas seções de atacantes invisíveis está se referindo a qualquer criatura que seja invisível / não possa ser vista. Nesse caso, é seu familiar e teria vantagem, mesmo que ele use o seu modificador de ataque.
Já que o familiar de um warlock pode ser um Quasit (que pode se tornar invisível) e um familiar pode ser usado para entregar a magia de toque do warlock, ele deve ser capaz de entregar um toque como Vampiric Touch enquanto invisível.
Mas o familiar ganha vantagem no primeiro toque com o Vampiric Touch? O texto da seção Unseen Attackers é bastante específico sobre dizer "você", que eu interpreto como o conjurador, não o familiar:
When a creature can’t see you, you have advantage on attack rolls against it.
A vantagem se aplica ou não?
Sim, Vantagem se aplica, já que o você nas seções de atacantes invisíveis está se referindo a qualquer criatura que seja invisível / não possa ser vista. Nesse caso, é seu familiar e teria vantagem, mesmo que ele use o seu modificador de ataque.
Tags dnd-5e spells invisibility