Viajar é certamente possível . Punta Arenas tem 120.000 habitantes e Ushuaia do lado argentino tem 60000 habitantes (com estâncias de esqui aparentemente abertas em junho ). Recomendável depende, é claro, do que você quer fazer.
A Wikipedia tem informações úteis sobre o clima:
Puerto Montt , na 41 ° 28'S, tem 6,0-12,7 ° C em maio:
Muito mais ao sul, Punta Arenas (53 ° 10 'S) tem 1.0–6.4 ° C em maio:
O frio é relativo, mas se você levar roupas apropriadas, não deverá ter problemas em viajar em maio.
Disclaimer: Eu nunca estive na Patagônia, toda a informação é da world wide web.