Janelas de forno geralmente têm três ou quatro camadas de vidro. Se você quiser limpar o material entre o interior e o exterior, é necessário que um serviço de conserto de eletrodomésticos saia e abra a porta.
Se você quiser simplesmente limpar o vidro interno, pode usar uma pasta grossa feita de bicarbonato de sódio e água, um pano ou esfregão sem riscos, e um pouco de graxa de cotovelo. Esse post explica tudo muito bem:
Como limpar a janela do forno
Além disso, quase todos os vidros do forno têm uma coloração. Esta é a principal razão pela qual você não deve usar um esfregão para limpá-lo. Os esfregões irão riscar o tom. Eu não acho que o limpador do forno seja responsável por descolorir o vidro. Uma maneira de saber com certeza é encontrar e cozinhar como a sua e olhar para ela.