Você sempre perde dinheiro ao trocar moedas por causa da sobrecarga do banco. A menos que você tenha o recibo antigo (que com algumas empresas permite que você troque de volta a uma taxa mais baixa), então você deseja limitar o número de transações.
Em vez de trocar Yen > Dólares (que para a empresa serão Yen > Euro- > Dólares internos), troque Yen > Euro e deposite o dinheiro. Então, nos EUA, use um cartão multibanco sem taxa para retirar seu euro como dólares. (Isso pressupõe que você tenha um cartão multibanco sem taxa).
Alternadamente, encontre alguns turistas japoneses que partem no aeroporto e ofereça-lhes dinheiro para o euro que não precisam mais.