Eu acredito que o mangá que você está procurando é Kuro no Shoukanshi (Invocador Negro).
No começo, ele faz um pacto com um lodo, tornando-o familiar. Logo depois evolui para um lodo gigante. Eles então derrotam um homem de armadura que foi amaldiçoado anos antes como chefe de masmorra. Ele então se junta a eles e é mostrado algumas vezes apenas como espírito antes de recuperar um corpo, que é então mostrado como uma armadura vazia. Depois disso, eles vão para uma cidade que tem bandidos por baixo e que estão causando problemas. Ao derrotar os bandidos, o grupo do herói os encontra. O MC desafia os heróis do 4 a uma partida do 4v1, após o que eles descobrem que o MC não é o líder dos bandidos e exclamam que ele deve ter feito isso para treiná-los.