Menção obrigatória: Um ESTA é apenas permissão para entrar em um avião. É o Programa de Isenção de Vistos que rege se você entra nos EUA e quanto tempo consegue ficar.
Eu também nunca ouvi falar de uma regra de 90 dias por ano para visitantes do VWP. 90 dias por visita é habitual. No entanto (como você sabe), o relógio normalmente não é redefinido pelo tempo gasto no Canadá. Para não ser pego por essa regra, você teria que fornecer evidências de sua residência canadense (não tenho certeza se a prova de cidadania canadense seria de qualidade, uma vez que eles não são necessariamente a mesma coisa). A cidadania canadense normalmente isentaria você dos termos do VWP, mas você pode ter que ter um passaporte canadense para se qualificar.
A questão é que o VWP é para 'visitas curtas e ocasionais'. O oficial do CBP pode ter simplesmente decidido que, depois de passar dois meses e meio nos Estados Unidos, você já estava tentando viver nos EUA. Ele tem o direito de recusar sua entrada se ele acreditar nisso.
Meu conselho: pegue um passaporte canadense. Eu também sou um cidadão dual morando no Canadá, e o passaporte canadense dá a você muita liberdade para entrar nos EUA sem impressão digital e outros problemas, e você entra na Grã-Bretanha (e na Europa) com tão pouco incômodo. A única vantagem que um passaporte do Reino Unido lhe dá é entrar na linha rápida em Heathrow, o que não é tão útil.