Se você está fazendo chá quente, você não deve ter um problema. Lembre-se, para pasteurizar você só tem que aumentar as temperaturas do núcleo até 155 graus Fahrenheit e mantenha por alguns minutos (alguns segundos no caso da pasteurização flash). Supondo que você vai ingerir o seu chá na água logo abaixo da fervura (ou você vai simplesmente deixar as folhas de chá repousarem na bebida), você deve exceder em muito a quantidade de tempo necessária para matar quaisquer molestos.
Nesse ponto, a única preocupação é que, se os nasties tiverem a chance de começar a crescer entre os usos, poderiam produzir substâncias químicas perigosas. Isso é comum em alguns fungos e moldes. Se você colocar as folhas usadas na geladeira depois do uso e mantê-las lá, isso não deve ser um problema (as temperaturas frias vão matar ou retardar muito a capacidade das bactérias de realizar seus negócios metabólicos). Eu não iria usar as mesmas folhas todos os dias durante uma semana, mas não consigo pensar em uma razão legítima de que um item que está sendo esterilizado por perto toda vez que ele está sendo usado, ou no mínimo pasteurizado, seria perigoso.
Agora, o gosto é outra história. Isso pode ficar desagradável. Mas ei, o sabor desagradável de uma pessoa é o gourmet da próxima pessoa, então dê uma chance.