Espero que você já tenha considerado a resposta mais provável. Para algumas especiarias, os compostos aromáticos são liberados por algum calor, mas não são destruídos. Assim, seu efeito é aumentado. Para outros compostos, mesmo uma pequena quantidade de calor irá destruí-los e, assim, reduzir seu efeito - veja o comentário de Mischa.
Acredito que a diferença reside essencialmente em que temperatura um composto saboroso começa a degradar-se.