Normalmente, espera-se que os jogadores façam jogadas para seu próprio personagem. Isso inclui rolos de dano.
O Livro do Jogador é geralmente escrito da perspectiva do 'agente' responsável pelo personagem ou criatura em questão.
Por exemplo, em Attack Rolls (pág. 194), diz:
When you make an attack, your attack roll determines whether the
attack hits or misses. To make an attack roll, roll a d20 and add the
appropriate modifiers.
"Você", nesse caso, é quem controla o personagem que está atacando. E então, em Rolos de dano (pág. 196), diz:
Each weapon, spell, and harmful monster ability specifies the damage
it deals. You roll the damage die or dice, and add any modifiers,
and apply the damage to your target.
É claro que o "você" ou "seu" para o ataque e o dano estão se referindo à mesma pessoa. E para um PC, essa pessoa será a pessoa que interpretará esse personagem.
Se for um monstro ou NPC atacando, então "você" se refere a quem está ditando as ações desse monstro ou NPC - normalmente o Mestre.
No guia do Mestre das Masmorras, há também um capítulo sobre o jogo. Diz até aqui, em "Ataques e danos contínuos" (pág. 235 do DMG):
Players are accustomed to rolling an attack first and then a damage
roll. If the players make attack rolls and damage rolls at the same
time, the action moves a little faster round the table.
Isso indica que os jogadores devem fazer suas próprias jogadas de ataque e rolos de dano. Até sugere que o jogadores faça as duas jogadas ao mesmo tempo para acelerar as coisas (exatamente pela razão que você declarou que rolou o dano).
Fora das jogadas de dano, há uma situação em que um Mestre pode fazer uma jogada para o jogador. Na verdade, isso é explicado logo acima da seção "Ataques e danos contínuos". E isso é se você, o Mestre, não quiser que o jogador saiba o quão bom é seu cheque (o exemplo dado é se um jogador deseja fazer um teste de Sabedoria (Insight)) para ver se a baronesa está encantada; se o jogador rolando isso, o resultado dos dados revelaria uma pista - para que o Mestre possa rolar em segredo para que o jogador não saiba se um resultado negativo é devido a um lançamento baixo de dados ou porque a baronesa não está encantada!).
Mas o acima é uma exceção - feita principalmente para manter um ar de incerteza.
Agora ... é o seu jogo e você é o Mestre. E se você ainda deseja rolar os dados de dano, é com você. Mas espero que fique claro que as regras assumem que são os jogadores que costumam fazer isso. E, pessoalmente, acho que se você se afastar demais dos seus jogadores, pode fazê-los sentir que você está praticamente jogando sozinho!