O que acontece se um aluno falhar em uma O.W.L.?

Or would it mean they must repeat the same study year?

Absolutamente não. Fred e Jorge, por exemplo, receberam apenas três NOMs cada, o que significa que falharam em sete, mas certamente não foram retidos:

'Anyway, it's a nightmare of a year, the fifth,' said George. 'If you care about exam results, anyway. Fred and I managed to keep our peckers up somehow.'

'Yeah ... you got, what was it, three OWLs each?' said Ron.

'Yep,' said Fred unconcernedly. 'But we feel our futures lie outside the world of academic achievement.'

'We seriously debated whether we were going to bother coming back for our seventh year,' said George brightly, 'now that we've got -'

Harry Potter and the Order of the Phoenix - p.205 - Bloomsbury - Chapter 12, Professor Umbridge

Significa apenas que a escolha do tema NEWT foi bastante limitada pelas notas baixas. Isso podemos inferir do fato de que os professores de Hogwarts definem os requisitos de entrada para suas aulas. Snape, por exemplo, famosamente exigiu que O no OWL fosse admitido em sua aula de Poções NEWT.

Are they allowed to retake the exam?

A boa resposta de Mithrandir nos mostra que eles são permitidos mas eles certamente não aceitam t tem para. Não há como Fred e Jorge retomarem sete assuntos em O Cálice de Fogo (o ano após o ano do OWL). Da mesma forma, Harry não conseguiu Adivinhação e História da Magia e não os repetiu:

ORDINARY WIZARDING LEVEL RESULTS

Pass Grades: Outstanding (O), Exceeds Expectations (E), Acceptable (A)

Fail Grades: Poor (P), Dreadful (D), Troll (T)

HARRY JAMES POTTER HAS ACHIEVED:

[...]

Divination: P

[...]

History of Magic: D

Harry Potter and the Half-Blood Prince - p.100 - Bloomsbury - Chapter 5, An Excess of Phlegm

Eles precisam ou podem pegá-los novamente no ano seguinte, presumivelmente aprendendo o que deveriam no ano anterior, como vemos Crabbe e Goyle:

"Keep your voice down!" spat Snape, for Malfoy's voice had risen excitedly. "If your friends Crabbe and Goyle intend to pass their Defense Against the Dark Arts OWL this time around, they will need to work a little harder than they are doing at pres-"
_{Harry Potter and the Half-Blood Prince, chapter 15}