Quirrel não estava assustado apenas por Firenze.
-
Hagrid: Ele estava por perto. Levaria muito para derrubá-lo.
-
Centauros: Os bosques estão cheios deles.
-
Firenze: Provavelmente tem formas de se proteger e talvez seja mais resistente a feitiços do que humanos. Além disso, ele pode ser mais rápido.
Ver Firenze o acordou para a realidade de que ele não estava sozinho com Harry e pessoas strongs estavam por perto. Se ele lutasse contra Firenze, então outros viriam e ele poderia ser pego, coberto e sem um corpo. Havia magos bem treinados em Hogwarts, se ele lutasse, então mais viria.
Além disso, Voldemort está enfraquecido (é por isso que ele estava bebendo sangue de unicórnio). E ele pode não estar pronto para encarar Harry ainda, e é por isso que ele estava esperando até obter a Pedra Filosofal para que ele ficasse mais strong e com um corpo físico.
Ele tinha um corpo emprestado. Quando ele usava emprestado corpos de cobra, eles eram muito fracos e acabavam morrendo. Imagine o que o esforço extra de dois corpos extras estava fazendo com o de Quirell, ele percebeu que estava fraco.
Além disso, Voldemort provavelmente não estava totalmente pronto. Ele queria matar Harry, ele não estava totalmente preparado. Ele queria estar preparado naquele momento. Quirrel poderia querer atacar e ganhar o favor de Voldemort, mas foi cancelado. Se Harry morresse, as pessoas poderiam suspeitar que Voldemort e a comunidade estivessem em alerta total.
Eu adicionarei as citações do canon para confirmar isso depois de receber meus livros.