Como Bob Warwick menciona em seu comentário, essa poderia ser a The Forever War de Joe Haldeman.
Nesse sentido, William Mandella e seu colega soldado e amante Marygay Potter (o sexo entre soldados é compulsório no romance, em vez de algo mal visto) partem para lutar em uma guerra interestelar distante. Eles retornam através das vastas distâncias do espaço galáctico, e a dilatação do tempo significa que décadas se passaram na Terra. Eles saem para lutar novamente, retornando depois que ainda mais tempo passou (e muitas mudanças sociológicas interessantes ocorreram na Terra). Eventualmente eles são separados pelos militares (eles são muito valiosos como soldados experientes para serem usados nas mesmas batalhas) e perdem contato.
William retorna à Terra quando a guerra termina ...
… he finds Marygay again. She has been travelling around, making use of time dilation to remain young for when he eventually gets home. The novel ends with a report of the birth of their first child.
Com a exceção do fato de que nenhum dos personagens são pilotos (embora eles ocasionalmente pilotem embarcações), os outros detalhes se encaixam bem.