Sim.
[Y]our familiar can deliver the spell as if it had cast the spell
Isso significa que seu familiar é o ponto de origem da magia. Isto é apoiado pelo tweet de Jeremy Crawford (mencionado por Slagmoth), onde Jeremy twittou:
"Does wizard have disadvantage on touch attack delivered by familiar if wizard can't see target but familiar can?" No.
E quanto a esses modificadores?
Vantagem / desvantagem com base na visão não é um modificador, é uma vantagem ou desvantagem. Você ainda usaria seu modificador de ataque de mágica em vez das criaturas.
A seção Vantagem e Desvantagem do PHB nunca os chama de modificadores. Eles seguem após a seção Ability Scores and Modifiers, mas eles não são uma subseção dos modificadores. Vantagem e Desvantagem afetam os pré-modificadores de rolagem.