Indo pela RAW, você está correto: apenas armas mágicas
A parte que você está citando do PHB indica que armas mágicas podem ser amarradas assim. Também fez o backup em Conselhos de Sage .
Então, a menos que a arma prateada / adamantina seja mágica, você não pode amarrá-la como sua arma do pacto. Quanto ao mundano, você pode criá-los usando o recurso Pact of the Blade, conforme descrito no PHB:
You can use your action to create a pact weapon in your empty hand. You can choose the form that this melee weapon takes each time you create it (see chapter 5 for weapon options).