Pegue o dado de sucesso
A sua avaliação geral está correta, você só receberá o dado atingido ao atingir o nível 20. Multiclasse não é uma opção por exatamente as razões que você dá em sua pergunta.
No entanto
Há sempre boas épicas
Se o seu Mestre for legal, ele pode lhe dar um benefício épico que lhe dará um aumento de Sabedoria permanente. Tanto o seu conjurador como o Matador de Inimigos se tornariam melhores com isso.
Uma alternativa é
Substituir o Matador de Inimigos
Este é o território de homebrew, mas não território de homebrew inexplorado. Quando você alcançou o nível 3, você teve que escolher uma subclasse e imediatamente obteve um recurso de subclasse. Esses recursos tendem a escalar muito bem com o nível. Talvez você possa obter o nível 3 (ou outro nível, mas 3 geralmente faz mais sentido) característica de uma subclasse diferente da sua em vez de seu Foe Slayer.
No final, a solução se resume ao truque mais antigo do livro: Fale com seu DM e obtenha uma solução divertida para todos.