Sua pergunta é um pouco confusa. Você está perguntando sobre ficar em Tóquio, mas não há pousadas de águas quentes ("ryokan", como outros já apontaram) que eu conheço em Tóquio. Em Tóquio, a sua melhor aposta para uma experiência japonesa autêntica seria provavelmente uma das pensões.
Você poderia, no entanto, encontrar ryokan em Kyoto, embora essa cidade não seja particularmente famosa por suas fontes termais.
Se você quiser um bom ryokan perto de Tóquio, eu recomendaria a cidade turística de Hakone perto do Monte. Fuji. Há muitos ryokan de vários níveis de preços que podem ser encontrados lá, muitos com seus próprios banhos termais privativos. É um pouco turística, mas voltada para os japoneses, não para estrangeiros.
Eu também gosto do Nikko, que está localizado nas montanhas do outro lado de Tóquio e possui vários templos famosos.
E se você é do tipo aventureiro, eu iria tão longe como recomendar Kusatsu (prefeitura de Gunma, NÃO Shiga), uma pequena cidade de resort nas montanhas. Eles têm vários "famosos" banhos termais públicos ("onsen") lá, e é uma das melhores lembranças que eu tenho do Japão depois de morar lá por um ano. Não é tão fácil chegar como os outros. Alguns amigos japoneses nos levaram até lá; tudo que eu lembro é que pegamos um trem de alta velocidade da estação de Ueno em Tóquio, depois um ônibus local por alguns quilômetros depois disso. Mas definitivamente vale a pena se você tiver tempo.
Por fim, recomendo usar uma das muitas agências de viagens localizadas em Tóquio. Eu não sei se você sabe disso, mas o turismo é um grande negócio no Japão, e existem agências de viagens em todo o lugar, geralmente nas estações de trem. Eles oferecem ofertas de pacotes com desconto para lugares em todo o Japão (e no mundo) com ótimo serviço (o serviço também é uma espécie de grande importância na Terra do Sol Nascente). Eu imagino que as agências em uma das principais estações de metrô (como Shibuya, Shinjuku ou estação de Tóquio) falariam inglês, e elas podem fazer suas reservas e reservar seus bilhetes de trem e tudo o mais que você precisa.
Espero que ajude, desculpe por ser tão longo, mas o Japão é um dos meus lugares favoritos ...: -)