Harry teve uma vida, embora um pouco limitada, fora da casa dos Dursley. Ele foi à escola e interagiu com os professores, tenho certeza de que todos nós ouvimos nossos pais ou anciãos se referirem a favor como uma "palavra mágica" quando éramos mais jovens.
Claro que não há uma resposta completamente canônica para isso, mas sabemos que ele interagiu com os trouxas diariamente e é uma frase comum, então é seguro assumir que ele pegou isso deles.