Não sei o que você leu sobre os custos de transporte do aeroporto Queen Alia até Amman. é muito longe da cidade, então, sim, os táxis podem ser caros. No entanto, há um ônibus Airport Express que funciona 24/7 (embora eu acredito que a frequência é reduzida à noite), que vai para uma das muitas estações de ônibus da cidade de Amã. Não custa mais do que um par de JOD, tanto quanto me lembro.
Infelizmente, é improvável que você encontre ônibus para outras cidades nessas horas. Os primeiros ônibus públicos em rotas de longa distância são normalmente às 5-6h e, mesmo assim, os horários dos ônibus são mais "quando cheios" do que em horários estritamente fixos. Há ônibus de operadoras como o JETT, que estão com um cronograma melhor, mas seus escritórios não estarão abertos em horários tão estranhos.
Há Madaba, a meio caminho entre o aeroporto da Rainha Alia e Amã, que também tem conexões de ônibus para outras cidades. No entanto, Amman é o centro principal de todo o transporte e ir a Madaba significaria ser mais restrito com suas opções.
Eu entendo totalmente o que você diz que Amã não tem muitos lugares de interesse para ver; Eu também sentia o mesmo sobre a cidade. Eu ainda recomendaria pelo menos um dia na cidade embora apenas para mergulhar na atmosfera. Fique perto do Anfiteatro Romano (que em si eu achei bastante nada assombroso), e caminhe pelos mercados próximos. Existem alguns excelentes restaurantes para pegar lanches baratos. Se você tiver tempo, caminhe até a Citadel. Essas são as duas coisas que eu recomendaria fazer em Amã se você estivesse pressionado pelo tempo. Passar algum tempo na cidade apenas para relaxar em vez de ver os sites e, em seguida, descobrir onde você quer ir a partir deles em diante.