Os cidadãos britânicos têm permissão para entrar e sair do Reino Unido em qualquer passaporte que escolherem (desde que possam estabelecer o direito de entrar, é claro).
Há uma pergunta sobre se Bermudas lhe permitirá entrar em um documento de viagem de emergência do Reino Unido ou em seu passaporte brasileiro. Presumivelmente, você de alguma forma voltou do Canadá para as Bermudas sem um passaporte do Reino Unido, então a mesma abordagem deve vir do Reino Unido.