Eu finalmente perguntei ao meu encanador sobre isso e ele explicou o problema e como resolvê-lo. Nossa casa tem radiadores de ferro fundido, então quando está muito frio, a caldeira funciona por um tempo e os aquecedores ficam muito quentes e continuam a irradiar calor para a sala. Mas quando está um pouco frio, a caldeira não precisa correr tanto, então os radiadores não produzem muito calor.
Ele disse que quando isso acontece, basta ajustar o termostato alguns graus acima do que realmente queremos. Isso forçará a caldeira a funcionar por mais tempo e fará com que os radiadores aqueçam, de modo que o ferro fundido continue a irradiar calor para a sala. Uma vez atingida a temperatura, você pode baixar o termostato de volta à sua temperatura original e a casa deve ficar confortável.