Fudge é doce. Como todo o doce que faz é construído em um xarope de açúcar concentrado. Fudge é diferenciado de outros doces na medida em que é incentivado a formar minúsculos cristais e é rico em gordura.
O chocolate em fudge fornece duas coisas: sabor e gordura. Embora menos tradicional, muitas receitas para variantes de chocolate deixam de fora o chocolate.
Como o @ElmerCat disse acima, o chocolate tem uma tonelada de açúcar. Isso não seria um problema, mas pode mudar o timing da sua confecção de doces. Mais açúcar a líquido significa que o doce não precisará cozinhar por muito tempo. Você teria que assistir a sua temperatura.
O verdadeiro problema é que os doces de chocolate não têm gosto muito de chocolate. Você seria capaz de fazer fudge com a textura e a cor certas, mas teria um gosto agradável.