Depois de alguns testes, finalmente encontrei a resposta.
Liguei a blindagem do cabo ao terra e liguei os fios desta forma:
(phone cable) - (cat6 cable)
White ADSL - Blue
Gray ADSL - WhiteBlue
White Phone - Orange
Gray Phone - WhiteOrange
(as cores são para cabos telefônicos franceses, elas são diferentes em outros países)
Eu os soldei diretamente. Talvez seja melhor usar um conector RJ45.
Agora meu modem está sincronizado em 8,5 Mb / s. Ainda alguns erros de CRC, mas não é um grande problema, pois posso obter algo como 7,1Mb / s ao fazer o download.