As companhias aéreas podem recusar o embarque no voo de ida se você não estiver qualificado para a partida de volta?

Provavelmente sim (eles podem te negar).
Sempre que saio dos EUA, a companhia aérea sempre pede meu status para o vôo de retorno antes de me dar um cartão de embarque. Eu tenho que provar que tenho os documentos necessários para voltar. A única razão possível para essa verificação é a sua pergunta.

Detalhes: tenho um bilhete de ida e volta para voos sem escalas dos EUA para o país X e para trás e sou cidadão de X. Quando mostro meu passaporte no X, eles perguntam sobre minha autorização para os EUA para o viagem de volta. Isso obviamente não pode ser relacionado à viagem de saída.

Eu tenho estado nesta situação algumas vezes. Quando conseguir um visto chinês demoraria apenas algumas horas e pudesse ser aplicado em qualquer lugar (não apenas no seu país de residência), eu reservaria um bilhete para a China em algum lugar, sabendo que meu visto expirou antes de voltar para a China, e que eu iria receber um novo visto chinês.

Nunca tive um problema. As companhias aéreas só estavam preocupadas, durante o check-in para o voo de saída, se eu tinha tudo o que precisa para entrar no país de destino.