É um pouco longo, mas se eu fosse você, eu tentaria novamente, usando outra forma de baunilha (talvez pré-cozinhe uma vagem no leite, então raspe as sementes e adicione-as), sem milho xarope em tudo, e preste atenção ao uso de manteiga doce, manteiga não cultivada.
Fudge é tudo sobre como formar os cristais de tamanho certo na solução de açúcar supersaturada. De sua descrição, nenhum cristal é formado. Isso pode acontecer se você invertê-lo inadvertidamente (= dividi-lo em glicose e frutose). Na culinária caseira, isso geralmente é feito de propósito com ácido ao fazer doces não cristalizados. Então, caso sua manteiga ou seu extrato de baunilha contenham algum ácido, eu usaria as versões garantidas para não ter nenhum, baunilha e manteiga doce. Não é certo que estejam fazendo algo errado, porque a manteiga no supermercado raramente é cultivada, e o extrato de baunilha não contém ácido normalmente, mas é melhor ter certeza.
Em nível industrial, o açúcar invertido é criado com enzimas. Enquanto o xarope de milho começa como amido e não sacarose, eu posso imaginar suas enzimas sendo capazes de dividir a frutose da sacarose em seu açúcar também. Eu não sei exatamente o que eles fazem com o xarope, e talvez o calor vá desativar as enzimas de qualquer maneira, mas acho que vale a pena tentar fazê-lo com açúcar puro, então não há nenhuma fonte para as enzimas pousarem no seu fudge. e inverta-o.
Se nenhum desses é o culpado, receio que a próxima explicação provável seja a mecânica do espancamento. Mas talvez não seja sobre a mão vs. É possível que você tenha parado muito cedo ou que a alteração do anexo usado para bater o resultado mude.