Viajar internacionalmente sem qualquer documento de viagem é muito difícil e impossível, dependendo dos detalhes. Se você precisa sair do espaço Schengen e voltar a entrar, você definitivamente precisa de um passaporte. É muito provável que seja recusado o embarque da companhia aérea ou impedido de sair do espaço Schengen pelos guardas de fronteira.
Se você estiver viajando dentro do espaço Schengen e tiver um cartão de residência, ainda assim poderá ser possível na prática, mesmo que não seja explicitamente permitido. Se você não tiver absolutamente nada, provavelmente ainda poderá atravessar fisicamente a fronteira, mas poderá se meter em sérios apuros se for encontrado em outro país sem nenhum documento estabelecendo seu status.
Até mesmo viajar na França não é isento de riscos. Tecnicamente, você deve provar que está na França legalmente (ou seja, mostrar seu visto) em a qualquer momento, se a polícia perguntar. Se você não tiver seu passaporte, ele poderá detê-lo por algum tempo para verificar seu status.
Obviamente, a exigência de entregar seu passaporte para um pedido de visto coloca você em uma situação embaraçosa, mas não há uma maneira fácil de contornar isso.