Não sabemos se os irmãos estavam errados.
Em nenhum momento vemos qualquer evidência de uma namorada. O proprietário do chapéu afirma que ele tem um, mas ele pode fazer isso porque ele não quer ser visto como um solitário triste, que é o que parece. Então, na verdade, não temos evidência de que as deduções dos irmãos estejam erradas.