Is it necessary for the EU spouse to be physically right next to the non-EU spouse at all times?
(Falando da minha experiência) Não. Não é necessário que o cônjuge da UE acompanhe o cônjuge não europeu desde que o visto seja válido (não expirado).
What happens if, say, the non-EU spouse goes on a day trip to see a common friend in a different city alone? If this city is in a border country, there might be check on the train or bus, for instance.
A travessia das fronteiras entre os países da UE não deve ser uma questão, desde que o cônjuge não europeu possa provar o seu estatuto de membro da família do cidadão da UE e o motivo da sua viagem.