Em termos de segurança alimentar, você pode deixar a porta aberta pelo mesmo período de tempo que sua comida pode seguramente sentar no balcão quando retirada do refrigerador. Este é um par de horas para a maioria dos alimentos potencialmente perigosos, conforme indicado na resposta à pergunta vinculada. Este é um tempo cumulativo, então se você deixar a porta aberta por uma hora, três dias seguidos, você terá que jogar fora muita comida.
Claro que isso não é exatamente o que você quis dizer. Se você está apenas deixando a porta aberta enquanto serve um copo de leite, a temperatura da comida na geladeira provavelmente não atingirá a zona de perigo. O tempo que isso leva dependerá de fatores como a natureza da comida e sua localização na geladeira, mas eu não me preocuparia se você a abrisse por mais de um minuto.
Então, de uma perspectiva de segurança alimentar, você não precisa se preocupar muito em deixar a porta aberta. De uma perspectiva de economia de energia, você quer manter o tempo de duração da porta no mínimo. A temperatura do ar na geladeira aumentará mais rapidamente do que a temperatura da comida, então a cada segundo que você abrir a porta, a geladeira fará muito mais trabalho para resfriá-la novamente. Esta é provavelmente a verdadeira razão pela qual seus pais lhe disseram para fechar a porta imediatamente.