Se os fios brilharem o suficiente para gerar um cheiro de queimado, você ouvirá o arco e também é possível que o disjuntor também vá.
A partir dos sintomas que você descreve, parece que o dimmer em si está indo. Como tem cheiro de queimado, eu diria que não é seguro usar e você deve substituí-lo imediatamente.
É claro que, se você ver qualquer arame entalhado, ou qualquer das porcas de arame estão soltas, então você deve consertar esses problemas. Certifique-se de desligar a energia no painel quando estiver fazendo isso (você deve verificar com um detector de tensão sem contato apenas para garantir).