Eu vou estar jogando um Empiricista baseado em Dex, cujo Dex terá um modificador maior que Int em alguns casos, além de Extractos. Mas, no PFSRD para Empirista :
...an empiricist uses his Intelligence modifier instead of the skill’s typical ability for all Disable Device, Perception, Sense Motive, and Use Magic Device checks. ...
O texto explicitamente evita dizer "Pode usar", em vez disso, opta por apenas dizer "Usos", e "Tudo" está incluído, o que me faz pensar que você não pode. Isso implica que você deve usar seu modificador de Inteligência para todos eles, ou pode ser trocado se você tiver um bônus melhor em outro lugar?
Como você escreveu, não é "pode usar", "pode optar por usar" ou qualquer coisa equivalente: é "usa". Isso significa que o empirista não tem escolha, ele tem que usar sua inteligência.
No entanto, é suposto ser um recurso de classe benéfico e, por causa disso, a maioria dos Mestres deixará você ignorá-lo quando não o beneficiar. Fale com seu DM.