Em suma, você está certo e mal informado. A regra geral é, quando a situação se encaixa na regra, e não há nada em outra regra para compensar isso, então você interpreta a situação como naquela regra.
No seu caso, quando sua arma de mão inábil é leve, -2 / -2 é aplicado com TWF e -4 / -8 sem ele. Em nenhum lugar da regra há o tipo de arma na mão principal, então você aplica -2 / -2 ou -4 / -8 (sem a façanha), não importa que você esteja empunhando uma espada curta ou uma espada longa na mão principal.