Um anel de metal pode ser suficiente para o seu propósito. Eu iria encher o buraco com lã de aço para parar os ratos, em seguida, cubra com silicone para evitar um calado. A lã de aço pode ser desnecessária, pois não acho que os ratos possam roer o silicone. No entanto, se o buraco for grande, a lã de aço facilitaria enchê-lo com silicone sem que ele caísse no porão.
Não use espuma de spray como Great Stuff em torno de fontes de calor: ele derreterá e produzirá fumaça tóxica.
BTW, a razão pela qual os buracos são tão grandes é provavelmente porque lá costumava haver tubos de três polegadas. Tais tubos eram usados para sistemas de vapor e para sistemas de água quente sem bomba, onde a água era circulada por gravidade (convecção).