pnuts deu-lhe o link nos comentários, mas para expandir ainda mais, de cic.gc.ca :
A single entry visa allows you to come to Canada only one time. Once you have left Canada, excluding travel to the United States and St. Pierre and Miquelon, you will need a new visa to travel back to and enter Canada.
e
A multiple entry visa allows visitors to come and go from Canada for six months at a time, without having to reapply each time. It can be valid for up to 10 years, or one month before your passport expires, whichever is earlier. You must arrive in Canada on or before the expiry date on your visa.
Especificamente para sua pergunta:
If your visa is still valid and you are travelling only and directly to the United States (including its Territories and Possessions) or St. Pierre and Miquelon, you do not need a new visitor visa to return to Canada.
Então, EUA, São Pedro e Miquelon estão bem - sem impacto no seu visto. Todos os outros países exigem um novo visto (se você estiver em uma única visita) ou não têm impacto (se você estiver em um visto de entrada múltipla).
Observe que, desde fevereiro de 2014, o Canadá não parece mais emitir um visto de entrada única, portanto, visitar qualquer país não deve joepardizar a duração permitida para você no Canadá:
Starting on February 6, 2014 (00:01 EST), all visa applicants will automatically be considered for a multiple entry visa.