Você essencialmente respondeu sua própria pergunta. As estatísticas de geléia ocre não mencionam resistência a dano de fogo, portanto não é resistente. Sob resistências, apenas indica ser resistente ao ácido.
É claro que o seu Mestre não é obrigado a obedecer ao bloco de estatísticas, eles podem escolher personalizar um monstro como quiserem. Mas como está escrito, uma geléia ocre não é resistente ao fogo.
A referência do Portão de Baldur que você cita não é a D & D 5ª Edição.