Você está correto, afinidade elementar se aplica especificamente a feitiços.
Starting at 6th level, when you cast a spell that deals damage of the type associated with your draconic ancestry, add your Charisma modifier to that damage.
Este é provavelmente apenas um descuido por parte de quem escreveu a ficha de personagem.
Com isso dito, o Mestre é livre para decidir que isso funciona, e é uma idéia bem legal e razoável. Eu certamente permitiria se um dos meus jogadores fizesse o mesmo tipo de dragão tanto para a raça Dragonborn quanto para o Feiticeiro Dracônico.