Por que ele iria?
Pense nisso. Se ele amaldiçoasse a posição do ministro, o Ministério continuaria a inventar pessoas más para fazer o trabalho (embora muitas não pudessem ser piores do que Fudge) até que Voldemort assumisse o controle do Ministério. E quando ele assume o controle, a maldição ainda está lá - e quem quer que Voldemort colocou no trabalho do Ministro também seria amaldiçoado.
Se eu fosse Voldemort, eu gostaria de manter Fudge como o ministro o quanto fosse possível.
Mas por que ele não amaldiçoou escritórios de nível inferior? Pela mesma razão, com o efeito adicional de que amaldiçoá-los não o ajudariam de nenhuma maneira. Sua maldição sobre a posição do DADA não o ajudou a fazer qualquer coisa em termos de ganhar a guerra. Ele amaldiçoou essa posição por maldade, por raiva de Dumbledore, não para ajudá-lo a vencer a guerra. Não só não teria nenhum benefício para ele ganhar para amaldiçoar o ministério (na verdade, isso o machucaria), ele provavelmente nem pensava nisso.