Nome de um livro com uma raça usando telepatia interplanetária

Estou procurando o nome de um livro de ficção científica que li na minha infância. A história e as pistas, tanto quanto me lembro, são assim:

• Existe um planeta árido com um edifício único, mas muito alto, onde residem os parentes dos "observadores". Eles têm tudo o que precisam neste super-edifício, então eles esqueceram a existência do lado de fora.
• Além do planeta de observadores, há outros três planetas onde residem civilizações de humanos avançados, humanos normais (nós) e bárbaros.
• O dever dos observadores é observar esses três planetas e impedi-los de construir uma espaçonave.
• Para esse propósito, eles usam uma forma de cabines de telepatia de distância extremamente longa localizadas dentro de seu prédio. Por telepatia, eles podem entrar (e controlar) mentes de outras pessoas que vivem em outros planetas. E eles podem sabotar qualquer tentativa de construir uma nave espacial.
• A raça humana avançada há muito tempo deixou de tentar construir uma nave espacial. Os bárbaros não têm tecnologia, então só tentamos fazer isso durante o período de tempo.
• No entanto, os próprios observadores haviam esquecido seu dever original há muito tempo, então eles supõem que esses estandes de telepatia são entretenimento de realidade virtual para eles e não sabem que eles realmente controlam pessoas reais. Então, a maioria deles controla as mentes para fazer as pessoas fazerem coisas estúpidas, ou coisas mais sérias, como suicídio e frenesi.
• A história é sobre um cara nos observadores descobriu a realidade e acabou ajudando um humano a fazer uma jornada espacial. Há também um cara, que é o líder dos observadores ou algo assim, seguindo fervorosamente códigos antigos dos observadores. (Sabotando naves espaciais; portanto, ele sempre escolhe visitar a Terra.)

Você sabe qual livro é?