O ex-namorado de Penny não era do tipo que estava sendo enganado
Como você mencionou, Leonard e Sheldon o deixaram irritado. Não só uma vez, mas duas vezes Leonard bate à sua porta. No começo ele (sendo um pouco educado), reconheceu sua dívida em dinheiro e ele a devolveu, mas não disse quando ou como ele iria fazê-lo. Leonard sendo um pouco ingênuo e precisava ser um herói para um centavo (o homem que traz de volta o que é dela por direito), bateu na sua porta novamente e pediu a ele para quando ele planeja pagá-la de volta.
Como ele conseguiu tirar a parte de suas calças é um tanto óbvio, Leonard e Sheldon têm experimentado bullying quando eram crianças. Então, tudo que o ex-Penny disse para eles removerem suas calças, sendo fisicamente superior, acho que Leonard e Sheldon farão o que ele pede.
Apesar de não ser mostrado na tela, pode ser o ponto de gatilho que leva Leonard e Sheldon a perder as calças e o ex de penny os fez humilhar publicamente só porque eles o irritavam.