A penalidade só se aplica se você estiver usando ativamente a opção de Combate com Duas Armas
Que você só pode fazer como um ataque total.
O que você tem em sua outra mão (por exemplo, nada, ou Unarmed Strike, um escudo, uma Shield Bash, uma tocha, ou arma improvisada, ou uma faca como uma arma leve) não faz diferença para você a menos que você use ativamente a outra arma, e somente se você optar por ativar o Combate de Duas Armas pelo ataque extra.
Esse é o lance: + ataque extra, -2 penalidade de ataque. Note que se você tiver vários ataques por algum outro motivo (BAB +6 ou superior, pressa , etc.), você pode usar armas diferentes para cada ataque sem penalidade. Você só aceita a penalidade quando recebe ataques extras de lutas de duas armas.