Sim, isso parece defeituoso.
Um regulador de pressão (que é o que um PRV é) deve parar o fluxo quando a pressão exceder a configuração. Isso soa como se você pudesse ter um pequeno vazamento, que poderia ser de detritos presos na válvula, um assento de válvula riscado ou algo parecido.
Antes de gastar dinheiro com isso, determine se o PRV é de sua responsabilidade ou da responsabilidade da empresa de água. Se for deles, eles podem vir trocar por você.
Seu comportamento descrito (particularmente a velocidade dele) parece ser um PRV com vazamento. Um caso ligeiramente diferente surge quando há um PRV (que também atua como válvula unidirecional ou de retenção) e um aquecedor de água quente, sem tanque de expansão - então a pressão da água pode subir quando a água fria é aquecida e nenhuma válvula está aberta .