Enquanto o tempo entre moer e fermentar afeta o sabor do café, eu não iria tão longe quanto medi-lo em horas. É claro que é melhor moer diretamente antes de fazer cerveja, mas no seu caso, como você usa uma máquina de gotejamento cronometrada, eu não acho que isso aconteça fazer diferença.
Além disso, outros aspectos também afetam o sabor do seu café (temperatura da água, temperatura do ambiente (cozinha), forma de extração (no seu caso pode ser a forma como os motivos ficam no filtro) e, por um grande Então, se você provar a diferença, pode ser o resultado de outro (s) fator (s) também, não apenas as + 4 horas de "tempo sentado" que o terreno tinha.
Para resumir: Simplesmente tente você mesmo (como Pete Becker mencionou no comentário).