Um bando de orcs, apesar de perigoso para um indivíduo ou uma cidade, não interessa a alguém que trabalha na escala dos impérios. Azog (se assumirmos, como Saruman fez, que Azog não estava associado a nenhum poder maior) dificilmente teria abalado as fundações da Terra Média. Ele pode ter matado algumas pessoas, incendiado algumas cidades, acabado de ser morto durante um ataque e rapidamente esquecido pela história. Nós sabemos que Azog estava trabalhando para o Sauron retornado, o que o torna uma séria ameaça, mas Saruman não acreditava nisso na época.
É o equivalente a um imperador romano ou a um papa declarando que um bando de ladrões e salteadores na Espanha "não é motivo de preocupação". Ele não está dizendo que eles são inofensivos, ele está dizendo que eles não são um grande negócio para se registrar em seu próprio radar.
Eles estão simplesmente abaixo do seu salário.