Se a casa estivesse vazia por um longo período de tempo, poderia haver acúmulo nos canos. Tente executar um número de facuets por um tempo e lave o banheiro várias vezes. Supondo que a sua entrada de água não é laranja, ele deve ir embora depois de você lavar os canos.
Abra também o tanque e dê uma olhada lá - talvez haja um componente do vaso sanitário que está enferrujando, ou talvez haja algum tipo de tablet de limpeza presente (geralmente eles são azuis, mas você nunca sabe).
EDIT: Você mencionou em seu comentário que há sedimento laranja no fundo do tanque. Eu não posso realmente adivinhar o que é isso (talvez laranja solo como alguém nos comentários sugeridos), mas eu sugiro que você desligue a água para o banheiro, lave-a para esvaziar o tanque e, em seguida, usando uma esponja, esfregue ou pelo menos perturbá-lo o suficiente para que ele se limpe quando o tanque voltar a encher. Volte a ligar a água e lave-a.
Se voltar depois de algum tempo, você precisará investigar mais.