Encha o buraco com concreto. O concreto não se expande no frio - você provavelmente está pensando em geada, que é onde a umidade no solo congela e se expande, perturbando o que estiver acima dela. Se a sua calçada não está levantada até agora, então a adição de concreto novo abaixo não vai mudar nada.
Preenchimento do buraco com sujeira ou areia pode de fato causar o incômodo que você está preocupado, porém - eu posso imaginar uma situação em que você não consegue compactar adequadamente a sujeira debaixo da calçada, criando um belo bolso cheio para a água se sentar e congelar.