Todos nós gostamos de Ficção Científica e ficção especulativa aqui e todos nós estamos dispostos a suspender nossa descrença por uma história bem trabalhada. Isso, Fringe não é. Tanto quanto eu posso dizer, Fringe nem sequer tenta ser internamente consistente, duvido que você encontre uma resposta no mundo. Eu assisti a maldita coisa do começo ao fim e o número de contradições diretas, "ciência" completamente ilógica e apenas puro excremento de touro é impressionante.
O exemplo que você levanta é um caso em questão. Não importa as viagens espaciais, não há evidências de que os Observadores tivessem acesso ao espaço. Há muitas evidências de que eles têm acesso a uma multidão (infinito de fato) de universos paralelos, em muitos dos quais a humanidade presumivelmente não teria evoluído ou teria sido extinta. Eles poderiam muito facilmente se mudar para lá, em vez de ficarem com o tempo. Eles não fizeram porque a história não funcionaria.