Eu sou um cidadão dos EUA que vive na Alemanha com um visto de Au Pair desde agosto 2018. Isso foi roubado recentemente em fevereiro e ainda não recebi a notícia da minha substituição. Espero viajar para a Suécia em breve e ter um passaporte válido, mas estou pensando se serei impedido e questionado sobre minha falta de visto (que eu relatei que faltava às autoridades).
Isso pode realmente depender de sorte. Você, como cidadão não pertencente à UE e não Schengen, deverá ter seu passaporte e comprovante de residência no mesmo país que você em todos os momentos. Se isso será verificado pode depender de vários fatores: a empresa de transporte público (trem, companhia aérea, ...) pode querer verificar, embora improvável, que controles de fronteira possam ser temporariamente configurados novamente (embora eu não tenha conhecimento de tais controles entre a Suécia e a Alemanha no momento, mas não me mantenho atualizado ativamente sobre isso), ou você pode ter outro encontro casual com as autoridades onde eles querem verificar isso.
Em poucas palavras: nas poucas vezes em que saí acidentalmente de um país sem passaporte ou visto na área de Schengen, nunca tive um problema. Mas isso deve ser evitado sempre que possível, porque essa sorte não é garantida.
Eu recomendaria entrar em contato com o escritório de registro de estrangeiros (Ausländerbehörde) na sua cidade e perguntar o que você pode fazer.