1. Os Vingadores não tinham conhecimento do segundo melhorado no momento: Quando Tony violou o escudo e entrou no castelo, os Vingadores só conheciam o "borrão". Mais tarde, eles descobriram sobre Wanda. E como o resto dos Vingadores já estavam atacando "o borrão", Tony baixou a guarda.
2. Maior manobrabilidade / conveniência: Tony queria conferir todo o laboratório & todos os computadores, e a armadura do Homem de Ferro não é exatamente a ferramenta para fazer isso. Ele já fizera uma varredura térmica de toda a área e, como estava claro, não tinha motivos para acreditar que estaria em perigo algum. Ele queria checar os computadores sozinho. (E depois de assistir Iron man 3, acredito que todos nós sabemos o quão ridículo é quando Tony tenta andar com essa armadura: P)
3. A armadura estava no modo de sentinela: Tony havia colocado a armadura no modo de sentinela, o que essencialmente significava que ele tinha J.A.R.V.I.S. procurando por qualquer perigo. Ele poderia convocar a armadura a qualquer momento que precisasse, como faz enquanto procura o cetro.
Para resumir: Tony acreditava estar em uma condição segura o suficiente para sair da armadura, considerando as informações que estavam disponíveis para eles na época.