Isso pode levar a questionamentos adicionais, mas desde que você tenha os vistos / direitos de acesso apropriados nos dois países, não há motivos teóricos que você não possa.
É muito comum em Victoria Falls, onde as pessoas entram e saem do Zimbábue e da Zâmbia na ponte na fronteira para tirar fotos, ou para chegar ao bungee jump no meio da ponte.
Passei menos de duas horas no Paraguai e menos que no Brasil duas vezes (chegando a uma cidade fronteiriça da Argentina).
Eu andei até os EUA do Canadá para jantar e, em seguida, voltei algumas horas depois também (isso levantou as sobrancelhas, mas estava bem).
Eu também viajei para o México apenas para viajar para Cuba, e passei algumas horas na Lituânia entre voos.
Portanto, não é incomum, eu nunca tive problemas, e legalmente não há nada que o impeça, a menos que suas razões para isso levantem preocupações com o guarda / oficial de fronteira.