Essa é uma pergunta muito interessante, e achei que a resposta de @ suchiuomizu foi muito boa e a votei de bom. Mas acho incompleto. Há outros dois pontos que precisam ser considerados:
Primeiro, os Valar (e Maiar) não eram de modo algum divinos em seu julgamento. Eles cometeram vários erros, geralmente erros de confiar demais - veja a pergunta Por que Manwe não entendeu o conceito de mal? para uma discussão sobre isso. Conclusão: Ingenuidade e mau julgamento.
Mas em segundo lugar, juramentos foram levados muito, muito a sério neste mundo. (Isso é um reflexo da seriedade dos juramentos no Norte em nosso próprio mundo.) Feanor fez um juramento de fazer o mal e fez isso de uma forma inquebrável:
Then Feanor swore a terrible oath. His seven sons leapt straightway to his side and took the selfsame vow together, and red as blood shone their drawn swords in the glare of the torches. They swore an oath which none shall break, and none should take, by the name even of Iluvatar, calling the Everlasting Dark upon them if they kept it not; and Manwe they named in witness, and Varda, and the hallowed mountain of Taniquetil, vowing to pursue with vengeance and hatred to the ends of the World Vala, Demon, Elf or Man as yet unborn, or any creature, great or small, good or evil, that time should bring forth unto the end of days, whoso should hold or take or keep a Silmaril from their possession.
Thus spoke Maedhros and Maglor and Celegorm, Curufin and Caranthir, Amrod and Amras, princes of the Noldor; and many quailed to hear the dread words. For so sworn, good or evil, an oath may not be broken, and it shall pursue oathkeeper and oathbreaker to the world's end.
Alguns dos filhos de Feanor mais tarde procuraram uma saída, mas falharam:
Yet Maglor still held back, saying 'If Manwe and Varda themselves deny the fulfilment of an oath to which we named them in witness, is it not made void?'
And Maedhros answered 'But how shall our voices reach to Iluvatar beyond the Circles of the World? And by Iluvatar we swore in our madness, and called the Everlasting Darkness upon us, if we kept not our word. Who shall release us?'
'If none can release us,' said Maglor, 'then indeed the Everlasting Darkness shall be our lot, whether we keep our oath or break it; but less evil shall we do in the breaking.'
No final, Maglor queria quebrar o juramento e julgou corretamente que, mesmo pelos padrões de seu mundo, isso seria menos mau, mas ele ainda não quebrou.
Yet he yielded at last to the will of Maedhros, and they took counsel together how they should lay hands on the Silmarils. And they disguised themselves, and came in the night to the camp of Eönwe, and crept into the place where the Silmarils were guarded; and they slew the guards, and laid hands on the jewels.
Acho que hoje consideramos tolo o fato de alguém fazer um juramento a Deus por fazer o mal e pensar que Deus os ligaria a fazer esse mal. Mas, no contexto dos nórdicos e da Terra-média, isso era solene, terrível e resolvível apenas pela intervenção direta de Iluvatar.
Então, por um lado, os Valar tinham Feanor (e filhos) que juraram fazer o mal e tinham ampla prova de que levavam o juramento a sério e o realizariam, não importando o perdão dos Valar. Como eles poderiam deixá-los soltar?
Por outro lado, eles tinham Sauron e estavam correndo em más companhias, mas que não haviam assumido um compromisso inquebrável de fazer o mal. Que eles poderiam perdoar.
Em alguns aspectos, eles estavam certos. Sauron não se dedicava tanto a fazer o mal quanto a ser egoísta. Dado o seu "tom justo", não era razoável pensar que ele poderia voltar às boas atividades.