Você já pensou em investir em um bom (leia-se: caro) frasco isolado que é avaliado para 6 + horas e líquidos quentes? Contanto que você a abra apenas por tempo suficiente para despejar sua xícara, ela deve mantê-la a uma temperatura potável e (espero) não estragar o gosto do reaquecimento.
Se você fizer isso, você deve aquecer seu leite separadamente para que ele não esfrie o chá derramado.