Um visto japonês não lhe dá direitos especiais na Coreia (ao contrário, digamos, de um visto dos EUA, Canadá ou Austrália). Você não está qualificado para a isenção de 30 dias.
Você terá que solicitar um visto em um dos consulados coreanos no Japão se quiser visitar.