Você confunde duas coisas separadas.

Bônus de ataque de feitiço é acertar o alvo, o que lhe dá um bônus de seu modificador de habilidade de conjuração (Sabedoria no seu caso) mais proficiência. Esse é o "ataque corpo a corpo" mencionado na descrição da magia.

O dano causado pelo feitiço se ele atingir é 1d8 mais o seu modificador de habilidade (Sabedoria novamente). Então, sim, é "apenas" 1d8 + 3 para você agora. Mas lembre-se, arma espiritual usa sua ação bônus para fazer um ataque / movimento, significando que você pode atacar com ele e seu próprio ataque, ou atacar com ele e lançar uma mágica ou usar um item. e tudo sem exigir concentração para manter o feitiço. É muito poderoso a esse respeito.

Você só aplica o modificador

Arma espiritual declara o dano como (por PHB p. 278):

1d8 + spellcasting ability modifier

O modificador de habilidade de conjuração é simplesmente o modificador de pontuação de habilidade para esse ataque - neste caso, Sabedoria, no seu +3 declarado.

Você pode aumentar os dados de dano conjurando isso em um espaço maior de magia.

When you cast this spell using a spell slot of 3rd level or higher, the damage increases by 1d8 for every two slot levels above the 2nd.

Isso é diferente de como você determina um ataque bem-sucedido

O uso de bônus de proficiência nunca se aplica a danos - apenas para jogadas de ataque.

Determinar um ataque bem-sucedido envolve rolar um d20 e adicionar seu modificador de habilidade e bônus de proficiência. Regras sobre isso podem ser encontradas na página 193 do PHB.