TL; dr - muito pesado: -)
Não é apenas uma boa fonte de energia para algo como uma aeronave.
A energia nuclear é excelente para os casos em que você precisa de saída contínua por um longo período de tempo, por exemplo, um satélite, que ficará lá por anos sem manutenção ou reabastecimento. Uma quantidade muito pequena de material nuclear em um RTG como os da Voyager 1 e 2 pode fornecer energia térmica que pode ser usado para alimentar o satélite. Este modelo funciona neste caso de uso porque a única alternativa real (energia solar) não está nem perto da saída necessária, pois a nave Voyager se afasta cada vez mais do Sol.
Além disso, os submarinos são um bom caso de uso - se você permanecer sob o mar por meses ou mesmo anos, diesel ou qualquer coisa que use oxigênio não é adequado, então uma usina nuclear é ideal.
Mas enquanto para um satélite a unidade de energia pode ser muito pequena já que a potência de saída real é pequena, para alimentar um avião ou um submarino você precisa de uma grande usina de energia, e isso também requer muita proteção (como efeito colateral da reação nuclear é a radiação ...)
Em um submarino, tudo bem - o peso pode ser resolvido, mas o peso de um avião é fundamental. Você simplesmente não pode fazê-lo de forma eficiente e segura. Você precisa de uma blindagem que consiga lidar com uma queda - que será maciçamente pesada, para que você não tenha carga de passageiro ou carga sobrando.