Eu usei o material de janela de plástico antes (literalmente acabei de colocar alguns minutos atrás) e funciona muito bem. Outra opção é olhar para janelas de tempestade, eles vão um longo caminho para ajudar a manter uma casa mais quente. Você pode comprar janelas de tempestade em tamanhos padrão nas lojas de ferragens habituais ou solicitar peças de ajuste personalizadas, se elas não tiverem aquelas que você precisa.
Há também produtos de vedação que você pode obter para suas janelas. Wired atualmente tem uma visão geral das suas opções.