Vou ignorar situações que aconteceram apenas nos livros (ou seja, alguns curandeiros que adoram o 7 e parecem realizar milagres) e focar no que vimos no programa de TV.
Mirri Maz Duur: Ela usou um pouco de magia negra em Khal Drogo (e, até certo ponto, em Daenerys). Ela adora o Grande Pastor dos Lhazareen. Isso significa que o Grande Pastor é real?
Ironborn: Como mencionado acima, os nascidos de ferro parecem se afogar e depois voltar à vida. Isso significa que o Deus Afogado é real?
Farelo: Parece que a magia de Bran está ligada aos Deuses Antigos (nos livros ainda mais através de sua rede Weirwood). Isso significa que os Deuses Antigos são reais?
Caminhantes brancos: Claro, eles parecem ser os inimigos do "senhor da luz", mas isso é apenas baseado no que Melissandre diz. Vimos que eles foram criados pelos Filhos da Floresta, que também estão ligados aos Deuses Antigos. Então, talvez o que Melissandre diz seja apenas propaganda e os Deuses Antigos sejam a coisa real?
Além disso, vimos algumas coisas estranhas em Essos (homens sem rosto, Warlocks of Qarth, etc.). Cada um com suas próprias religiões.
O que vimos em todos esses casos (e os que você mencionou sobre R'hllor) são apenas uma prova de que mágica existe, não que um específico deus existe.
Se essa mágica está ligada a um deus ou é apenas algo que está lá (e as pessoas usam os deuses como uma explicação para a fonte da magia) é algo que nunca saberemos.
Lembro-me do GRRM dizendo algo como "os deuses de Westeros são tão reais quanto os nossos", então faça disso o que quiser!