O efeito Booming Blade é desencadeado antes do ataque de oportunidade.
Estados do blade em expansão:
If the target willingly moves before then, it immediately takes 1d8 thunder damage, and the spell ends.
Estados do ataque à oportunidade:
You can make an opportunity attack when a hostile creature that you can see moves out of your reach. To make the opportunity attack, you use your reaction to make one melee attack against the provoking creature. The attack interrupts the provoking creature’s movement, occurring right before the creature leaves your reach.
Ênfase minha
A criatura primeiro começa a se mover, ativando a Lâmina em Expansão e, logo antes de ela sair de seu alcance, o ataque de oportunidade é ativado.
É claro que isso é tudo assumindo que você não gastou sua reação, seu alcance é de 5 pés e o inimigo tenta imediatamente deixar seu alcance ao invés de se mover ao seu redor.