Depende tanto da legislação local (no país em que a entrada lhe é negada) quanto dos termos e condições da transportadora que o leva até lá.
Se você estiver viajando de avião, a linha aérea verificará, evidentemente, se você tem todos os documentos de viagem necessários antes de deixá-los embarcar, mas se eu entendi sua pergunta corretamente, você está perguntando o que acontecerá se você Não é permitida a entrada na fronteira mesmo que os seus documentos de viagem e vistos estejam ok? Mesmo que a linha aérea tenha feito tudo o que estiver ao seu alcance para verificar sua elegibilidade para entrar no país de destino, na maioria dos casos ainda é exigido pela legislação nacional (no país de destino) para levá-lo de volta ao país de origem ou não é elegível para entrar novamente no país de origem, para levar você a qualquer outro lugar.
Se você estiver viajando em um bilhete de retorno, a maioria das companhias aéreas são justas o suficiente para permitir que você use seu bilhete de ida e volta para o voo de retorno inesperado. Além disso, a maioria das linhas aéreas regulam isso em termos de transporte e responsabilizam o passageiro por quaisquer custos adicionais.
Apenas como exemplo, aqui estão os termos da Lufthansa com relação à entrada negada. Mas como eu disse, você também encontrará regulamentos semelhantes nos termos de transporte de outras linhas aéreas:
Refusal of Entry 13.3. If you are denied entry into any country, you will be responsible to pay any fine or charge assessed against us by the Government concerned and for the cost of transporting you from that country. We may apply to the payment of such fare any funds paid to us for unused carriage, or any funds of the passenger in the possession of us. The fare collected for carriage to the point of refusal of entry or deportation will not be refunded by us.
Se você não tiver dinheiro para pagar esses encargos antecipadamente, a linha aérea ainda poderá transportá-lo, mas você deve esperar que a linha aérea use qualquer meio legal possível para receber o dinheiro de volta mais tarde.