Resposta curta: Sim.
Resposta longa: Existe alguma margem de manobra que cabe ao DM decidir. Basicamente, se resume a se o efeito mágico da arma é difundido dentro dela ou é simplesmente uma camada no topo. O Golpe do Paladino, por exemplo, não torna a arma mágica, apesar da magia envolvente.
Normalmente, essa é uma distinção desnecessária. Todas as armas mágicas no DMG são assim por padrão, mas um mestre pode mudar isso. Por exemplo, uma Arma de Advertência que foi oferecida a um PC por uma divindade pode ser uma arma que é apenas uma arma encantada (e, portanto, conta como uma arma mágica), ou pode ser simplesmente um encantamento sobre a arma.
Como um Mestre, eu recomendaria vazar esta informação para os jogadores através de um encontro com um perigo menor (um licantropa que pode ser facilmente combatido ou despachado com magias, ou algo com apenas resistência). Uma vez que o padrão do jogo é que as armas magicamente imbuídas que receberam são tratadas como armas mágicas, colocar os PJs contra um inimigo imune a eles sem nenhum aviso para essa mudança pode ser visto como antagônico.