No topo da minha cabeça, o açúcar adicionado do leite pode fazer com que o fermento leveda o pão. O oposto é verdadeiro quando substituindo a água por leite, você pode precisar adicionar açúcar.
Edit: De acordo com este site , glutationa no leite deve ser destruído aquecendo-o primeiro, caso contrário ele tende a inibir o fermento. Além disso, supostamente a lactose não contribui tanto para a atividade da levedura quanto eu pensava, já que ela não quebra tão rapidamente quanto os açúcares crus.
Outras fontes parecem corroborar o fato de que o pão é mais macio com leite.
Algumas outras pessoas podem adicionar mais informações ...