Funciona definitivamente se tudo estiver na temperatura ambiente ou um pouco mais quente, talvez 20-30C (68-86F), e definitivamente não funcionará se estiver tudo muito frio.
Parece que você pode estar um pouco longe demais no frio. Você tem café a 0ºC, bastante gelo para mantê-lo a 0ºC e uma pequena quantidade de leite condensado à temperatura ambiente que irá esfriar rapidamente assim que for adicionado. O resultado é que você está basicamente mexendo a 0C, nem mesmo a temperatura ambiente, e o leite condensado a 0ºC é realmente muito espesso.
Para manter as coisas simples, eu começaria apenas mexendo o leite condensado sem gelo. Você pode até mesmo misturá-lo com apenas o leite / metade e metade, já que com uma quantidade menor de líquido refrigerado, a temperatura não cairá tanto. Mexer no resto deve ser muito mais fácil. Você também pode querer mexer continuamente enquanto adiciona o leite, em vez de adicionar tudo.