A maioria dos japoneses nunca viu pêlos faciais tão longos, exceto na TV, então eles ainda não sabem qual é a etiqueta adequada. Algumas pessoas se importariam se você fosse totalmente descuidado com seus pêlos faciais, mas se você amarrasse um nó, seria uma boa expressão, você seria muito cortês com os outros.
Então você agiu da maneira certa. Não se preocupe tanto assim.