Uma vez, durante a guerra de Sauron com os elfos na Segunda Era
Gil-galad and the Númenóreans were holding the Lhûn in desperate defence the Grey Havens, when in the very nick of time the great armament of Tar-Minastir came in; and Sauron's host was heavily defeated and driven back.
Unfinished Tales Book 2 The Second Age Chapter 4: "The History of Galadriel and Celeborn"
Isso foi por volta do ano 1700 da Segunda Era, e Sauron foi expulso de Eriador não muito depois disso, quando os Númenorianos entraram na luta.
Após o estabelecimento de Gondor e os Reinos do Norte, as forças de Sauron eram geralmente controladas por eles; Galdor nota durante o Concílio de Elrond que Gondor conseguiu, até agora, manter os Portos a salvo:
Only the waning might of Gondor stands now between him and a march in power along the coasts into the North; and if he comes, assailing the White Towers and the Havens, hereafter the Elves may have no escape from the lengthening shadows of Middle-earth.
Fellowship of the Ring Book II Chapter 2: "The Council of Elrond"