Não há nenhum que corresponda aos seus requisitos, mas você pode personalizar uma criatura existente para obter essa habilidade
Não há criaturas no Manual dos Monstros D & D 5e que podem alternar entre outros planos além do Ethereal sem o uso de uma habilidade considerada como conjuração inata.
Algumas criaturas ao redor de CR6 podem usar conjuração inata ou psionismo para planeshift. Estes incluem o câmbio (CR5, p.36), cavaleiro githyanki (CR8, p.160), githzerai zerth (CR6, p.161), bruxa da noite (CR5, p.178) e esfoliante da mente (CR7, p. 222).
Como um Mestre, você pode simplesmente inventar seus próprios monstros ou modificar um existente para que ele possa mudar de direção. A solução mais fácil é simplesmente pegar uma criatura existente e fazer uma variante que possa alternar entre os planos. Isto dá-lhe um monstro oficial e equilibrado que preenche o nicho necessário.
Fazer um monstro variante desta maneira é uma regra oficialmente endossada no Guia do Mestre, p. 273:
Part of the D&D experience is the simple joy of creating new monsters and customizing texisting ones, if for no other reason than to surprise and delight your players with something they've never faced before.