Estritamente falando, sim.
The spell ends for a target that attacks or casts a spell.
Não diz que termina para um alvo que executa a ação de ataque, por isso, se você executar a ação de ataque e não atacar, então RAW a invisibilidade permanece.
Additionally, when you take the Attack action, you can
forgo one of your own attacks to allow your familiar to
make one attack of its own.
Tomar a ação de ataque e depois familiarizar-se com o ataque não é você que está atacando.
Você pode consultar esta postagem para obter mais esclarecimentos sobre as diferenças entre a ação de ataque e o ataque: O que significa ação em maiúsculas e minúsculas versus ataque em minúsculas?