Se você concordou em todos compartilharem o mesmo universo e cenário mundial enquanto o jogador entra e sai da posição de Mestre, então você deve aceitar que isso faz parte do jogo no estilo que você concordaram.
Se ele "roubou" o ambiente do mundo que você criou, então ele está inequivocamente errado, e você está certo em ficar incomodado com ele - mesmo que seja uma versão de "universo paralelo" do seu jogo. No entanto, você mencionou que ele não vai ouvir. Se os outros jogadores estiverem de alguma forma ok com o que ele está fazendo, parece que esse grupo de jogos não é um dos que você quer fazer parte. Eu não posso resolver o conflito sem conhecer você e todo o seu grupo, então eu sugiro que você olhe para alguns dos outros tópicos no site relacionados a argumentos do jogador / DM, por exemplo:
O que fazer com um Dungeon Mestre?
... bem como qualquer coisa marcada com as tags [problem-gm] e [problem-players], como sugerido por @ daze413 nos comentários.