Sua primeira abordagem é exatamente correta, com uma pequena alteração.
Seu passaporte canadense o levará para os EUA com o mínimo de aborrecimentos e vantagens significativas na imigração dos EUA. Muitas vezes, a imigração dos EUA tratará os portadores de passaportes canadenses como equivalentes aos portadores de passaportes dos EUA em termos de colocá-los em vias rápidas, etc. Usar um passaporte britânico significará que você obterá uma isenção de visto e terá suas impressões digitais. Não vá até lá.
Seu passaporte no Reino Unido o levará de volta ao Reino Unido com o mínimo de aborrecimento. Você deve usá-lo no retorno. No entanto, ao sair do Reino Unido, seu objetivo é demonstrar à companhia aérea que você está legalmente autorizado a entrar nos EUA e no Canadá. Mostre à companhia aérea seu passaporte canadense. (Você não deve ser parado pela alfândega do Reino Unido na saída, mas se fizer isso, mostre a eles seu passaporte britânico). Coloque seu passaporte britânico fora até você voltar para o Reino Unido. Se a sua outra nacionalidade necessitar de um visto para entrar no Reino Unido, deverá mostrar à companhia aérea o seu passaporte britânico no voo de regresso, mas porque os canadianos podem entrar livremente no Reino Unido, o que não é um problema - e com um 'trânsito' parar nos EUA, o passaporte canadense é melhor para isso também.