Sim, essa quantidade de cacau vai mudar a massa. Isso fará com que o bolo fique mais seco.
Quanto mais cacau em pó você adicionar, mais açúcar e umidade serão necessários para evitar que o bolo fique seco.
Eu tiraria 1/4 xícara da farinha de amêndoa e adicionaria 1/4 xícara de cacau em pó. Se você sentir que gostaria de ir um pouco mais, compre uma colher de sopa de cada vez depois disso.