Adicionar açúcar a uma receita de pão não é trivial. Açúcar interfere na criação de glúten. O máximo de açúcar que você pode ter em uma receita de pão é duas colheres de sopa de açúcar por xícara de farinha, que não é muito doce. E então você tem que mudar a receita: precisa de muito mais amassar e mais levedura. Em concentrações muito baixas, o açúcar realmente alimenta a levedura, mas se você usar mais, sua atividade osmótica interfere no seu crescimento.
O problema aqui é que você tem toda a batata na receita. Isso significa que você já tem muito pouco glúten em comparação com a massa de massa. E também que está diluindo qualquer açúcar, reduzindo o sabor adocicado.
Você certamente pode tentar adicionar até 7 colheres de sopa de açúcar, mas deve amassar mais (o dobro do tempo de amassar para as 7 colheres inteiras - amasse o brioche padrão por cerca de 30 minutos por mão antes de adicionar a manteiga) e viva com uma textura um pouco pior. Você também pode tentar usar truques de fortalecimento de glúten para compensar - adicione ácido ascórbico (pó de vitela C ou uma pílula esmagada), comece com água fria ou adicione glúten vital.