Sim. Como cidadão duplo, você pode escolher qual passaporte a ser apresentado nos Estados Unidos. Se você usar seu passaporte no Reino Unido (sem visto), será tratado como um requerente do programa de isenção de visto, o que significa que precisará da autorização do ESTA para voar para os EUA.
Se você apresentar seu passaporte canadense, será tratado como qualquer outro cidadão canadense, o que significa que você não precisará de visto. Como "visitante por prazer" em potencial, você será um candidato a B-2 para admissão. A entrada no status B-2 tem várias vantagens sobre o VWP, principalmente o fato de você normalmente ser admitido por seis meses em vez de dias 90.
Obviamente, você também deverá fazer o check-in do voo com o seu passaporte canadense, porque a companhia aérea só permitirá que você embarque no avião com o passaporte do Reino Unido se tiver autorização ESTA válida.
Para a viagem de volta, eu recomendaria realmente fazer o check-in com o passaporte canadense, para que sua partida seja mais provavelmente registrada corretamente no sistema dos EUA. Quando você chega ao Reino Unido, é claro, será mais simples mostrar seu passaporte no Reino Unido.
No entanto, não é estritamente necessário usar o passaporte canadense. Mesmo que os EUA não registrem sua partida, você pode definir o registro imediatamente após o fato. Você pode verificar em https://i94.cbp.dhs.gov.
Como observado em um comentário, você também não deve hesitar em mostrar o passaporte do Reino Unido ao fazer o check-in, se houver alguma dúvida sobre sua admissibilidade no Reino Unido depois de mostrar o passaporte canadense. Você pode explicar que fez o check-in com o passaporte canadense porque o usou para entrar nos EUA e queria garantir que o registro de saída correspondesse ao registro de entrada.