Supondo que os Time Lords não os mexam novamente, você teria que ir até o fim do universo. O médico deve descobrir que o tempo que passou em Gallifrey é pelo menos o tempo que eles passam desde a última vez que saíram.
O mecanismo exato pelo qual Gallifrey está "atualmente" no final do universo é desconhecido. Pode existir em seu próprio espaço-tempo que se estende além do "fim", ou pode estar constantemente viajando de volta no tempo para "sempre" permanecer no momento do fim, ou algo mais que envolva muitas palavras como quantum.
Como diretor geral, não é possível viajar para o passado de Gallifrey. O universo, e a TARDIS viajam em particular, são sincronizados com a hora local de Gallifrey. Depois que alguém interage com Gallifrey, é impossível "mais tarde" interagir em um momento "mais cedo".
Este conceito é mais explícito nos romances. Veja, por exemplo, o Teia do tempo. É consistente com os retratos na tela.
Exceções
Quando Clara entrou no fluxo de tempo do médico, um fragmento apareceu no passado de Gallifrey. No entanto, naquele momento, Gallifrey não "atualmente" existia no Universo, então a regra pode não ser aplicável.
O momento traz as futuras encarnações do médico para Gallifrey. O momento é a tecnologia altamente avançada do Time Lord, a arma mais poderosa que já existiu. Eu posso acreditar que é capaz de ignorar o que impõe a sincronização.
Clara acaba embaixo da cama de infância do Doutor durante "Listen", de alguma forma ignorando casualmente o tempo da guerra também.
Fora do Universo, a consistência surge mais por coincidência do que pelo esforço do escritor.