As regras são claras sobre isso:
On a hit, an unarmed strike deals bludgeoning damage equal to 1 + your Strength modifier. (PHB 195, Errata v1.0)
E faz sentido: um soco machucaria tanto quanto uma facada com um punhal, que usa um d4?
Observe que um personagem pode causar mais dano com seus ataques desarmados, por exemplo, tomando o talento Taverna Brawler (d4) ou sendo um monge (d4 ou melhor, dependendo do nível).