É possível. Você pode ir de trem. A viagem em um trem direto leva 3h40. Horários e preços podem ser encontrados no site da SBB . Você pode chegar a Milão entre 10h30 e 11h, permanecer até mais ou menos 18h30 e voltar a Zurique por volta das 23h. O preço mais baixo que encontrei foi de 125 francos suíços. Se possível, ou seja, se o seu pacote permitir isso, eu já vou lá no dia 4 à noite.
O avião é outra possibilidade, mas os voos sem escalas para esse dia específico começam em 750 EUR! E o tempo total de viagem não será menor quando você considerar o check-in e as transferências do aeroporto.
Por outro lado, se você mora em Londres e quer ir para Milão, faça isso em uma viagem separada. Você encontrará um bilhete de avião de Londres para Milão, a preços similares aos do preço do bilhete de trem de Zurique-Milão.