TL; DR: Não, os zumbis não precisam de oxigênio para sobreviver. Nós não sabemos como a fisiologia zumbi funciona, mas sabemos que eles não respiram.
Na verdade, vimos vários caminhantes sobrevivendo por longos períodos debaixo d'água.
E pelo menos um andarilho enterrado (mas ainda ativo).
Também foi estabelecido que uma cabeça de zumbi decepada permanece ativa, a menos que o cérebro seja destruído. Isso é relevante porque, obviamente, as cabeças decepadas não têm pulmões presas a elas.
Os zumbis em The Walking Dead não precisam fazer nada, na verdade. Eles não precisam respirar, como esses gifs mostram, e eles também não precisam comer, apesar de o fazerem o tempo todo. Seus sistemas respiratório e digestivo estão podres e inúteis. Eles não podem respirar e não conseguem digerir nada. Como eles não podem fazer essas coisas, obviamente eles também não precisam para fazê-las.