Ambas as cidades são destinos realmente interessantes. A questão a ser distinta entre os dois é se você gosta ou não de pontos turísticos. Bruges é a cidade mais turística dos dois. Pessoalmente, eu iria de Ghent e fazer uma viagem de um dia para Bruges. Mas o contrário é perfeitamente possível.
No entanto, se você realmente quiser fugir da multidão, vá para Lier ou Hasselt. Nenhum turista e realmente pérolas para visitar.