Por que minha nova lâmpada está zunindo enquanto está desligada?

Eu apenas mudei a lâmpada do teto que eu tinha na minha cozinha, de uma antiga (provavelmente com mais de 20 anos) para uma nova e bonita pendurada. Eu também mudei da velha lâmpada incandescente para uma CFL. Agora o problema é que a lâmpada tem um zumbido muito baixo quando é desligada - e o zumbido para quando eu ligo. A lâmpada não está acesa no dimmer (o que não explica por que ela zumbe enquanto estiver desligada).