Citando a página da Wikipedia para o terceiro médico :
The early ones were set on Earth due to cost constraints on the series.
Esta parece ser a explicação geralmente aceita; por exemplo em The Nerdist :
As a cost-saving measure, the last series [with Patrick Troughton] ended with the Doctor being exiled to Earth, so alien sets would not have to be built.
embora eu não tenha encontrado uma citação direta de alguém que estava na equipe de produção ou similar.