Acho que pode ser Toolmaker Koan por John McLoughlin, que com o melhor da minha memória (e provavelmente 20 anos desde que li) corresponde à sua descrição.
Editado para adicionar que eu encontrei uma revisão aqui (por trás de uma tag spoiler) que parece concordar com minha memória. Tenho certeza que este é o livro que você está procurando.