Se você está preocupado em alimentar o fermento, provavelmente vai querer adicionar um pouco de açúcar à sua receita. Se você mantiver a quantidade baixa o suficiente (eu provavelmente começaria com metade da quantidade que normalmente seria usada para uma determinada quantidade de fermento), a levedura consumirá todo ou quase todo ele.
Quanto à textura de bolo, isso é tanto um fator de falta de desenvolvimento de glúten como é o agente de fermentação. Se você não tem muito glúten, você obtém aquele bolo esfarelento ou textura de bolinho - que é o que você quer em bolos ou bolos.
Se você vai usar pouca farinha de trigo ou nenhuma, você pode considerar adicionar glúten de trigo vital à sua receita, para que você possa construir uma estrutura decente em seu pão.
Eu imagino que você teria que fazer centenas de pães para obter o equilíbrio certo, então eu recomendo procurar por receitas de baixo teor de carboidrato que contenham um pouco de açúcar e talvez glúten de trigo vital. Aqueles provavelmente teriam uma boa chance de sucesso.