Não, você não pode provocar ataques de oportunidade dessa maneira. Das regras básicas do jogador, página 74:
You also don’t provoke an opportunity attack when you teleport or when someone or something moves you without using your movement, action, or reaction. For example, you don’t provoke an opportunity attack if an explosion hurls you out of a foe’s reach or if gravity causes you to fall past an enemy.
Efetivamente, somente o movimento voluntário pode provocar ataques de oportunidade. Qualquer método que você tenha de empurrar alguém ou forçar fisicamente a se movimentar não provocará ataques de oportunidade.
Se o seu Clérigo quer forçar uma criatura a provocar um ataque de oportunidade dele, ele deve usar o Comando (ou algo similar) para ordená-lo a se afastar dele. Por sua vez, quando eles usam seu movimento para ir embora, ele será capaz de fazer a sua oportunidade atacar como quiser.