Eu duvido que você encontre algo nos livros.
Acho que esta imagem fria e fria associada à caça selvagem é a invenção dos jogos - mais precisamente, é uma tentativa de conciliar a imagem mais canônica de Wild Hunt no terceiro jogo com a forma como foi retratada na primeira, onde ...
...in the game's finale, Geralt is lunged into a vision of the post-White Frost future, where he battles the spectres of Wild Hunt amidst a landscape covered in snow and ice.
Se você está procurando por uma explicação mais no universo, eu acho que é parte do conjunto "luzes e fumaça" que Wild Hunt emprega para parecer mais aterrorizante e sobrenatural para os habitantes dos mundos que eles atacam.
Eu não tentaria racionalizá-lo com "isso é o que você ganha quando viaja entre dimensões sem um revestimento anti-gelo adequado na sua armadura de placas";)