A maioria dos aquecedores elétricos que eu vi são conectados diretamente. Em outras palavras, o fio de tensão de linha não tem uma caixa na parede da mesma forma que um interruptor de parede ou receptáculo tem.
Você pode remover o aquecedor, mas se não houver caixa, você deve adicionar uma caixa de "trabalho antigo" para terminar os fios. Já que há unidades ativas além da que você está removendo, sim, esses fios precisarão ser reconectado para transportar o circuito para os outros aquecedores. A caixa adicionada permitirá que uma capa de caixa de junção seja anexada.