Na minha experiência, qualquer agente, como qualquer pessoa, pode reagir com diversão, aborrecimento ou indiferença, mas contanto que você recue rapidamente e docilmente se um agente estiver irritado, você provavelmente ficará bem.
Até mesmo o mesmo agente pode reagir de forma diferente em dias diferentes ou em momentos diferentes no mesmo dia.
Parte do problema é que o agente pode pensar que você está sendo evasivo ou que está desafiando a autoridade do agente. Se a sua piada incluiu uma declaração explícita que realmente respondeu de forma significativa à pergunta, ela provavelmente seria um pouco melhor. Estou pensando em algo como "[insira piada aqui], mas não tenho nenhum bem a declarar".