Há uma infinidade de situações em que você pode negar seu bônus de destreza ao AC. Tecnicamente você está apenas "de pés chatos" na primeira rodada de combate, mas muitas pessoas usam o termo "flat footed" para se referir a todos os outros casos também.
Assim, o caso mais comum é durante uma rodada surpresa ou nas primeiras rodadas de combate em que você ainda não teve um turno:
Unaware Combatants: Combatants who are unaware at the start of battle don't get to act in the surprise round. Unaware combatants are flat-footed because they have not acted yet, so they lose any Dexterity bonus to AC.
Note que Unaware Combatants refere-se a pessoas completamente inconscientes de uma luta acontecendo, isso não significa desconhecer alvos específicos na luta. As regras para isso são cobertas por stealth, invisibilidade e ocultação.
Há, de fato, um grande número de outras situações que também lhe negam o seu bônus de destreza. Uma lista pode ser encontrada aqui: Em quais situações um alvo seria negado um bônus Dex para AC? .
Olhando através desta lista você pode ver que nenhuma delas cobre "criatura que apareceu ao meu lado", então a menos que as invocações fossem invisíveis ou escondidas de alguma forma você não estaria de pés chatos.
Para dar uma resposta mais saborosa e menos baseada em regras: Você veria e ouviria a convocação aparecendo e, portanto, seria capaz de responder a eles e se defender, mesmo que ainda não seja sua vez.