Não consigo encontrar a regra exata no Pathfinder SRD, mas há um link para um tópico que descreve isso: link
E esta é a regra no D20SRD, que eu tenho certeza que é a mesma coisa: link
Você pode encontrar a regra exata em seu livro de regras em algum lugar (mas eu não tenho uma para verificar, infelizmente)
Essencialmente, isso se resume a isso:
Movimento diagonal
Cada outro quadrado de movimento diagonal é contado em dobro. Então o primeiro quadrado é 5 pés, o segundo é 10 pés, o terceiro é 5 pés, etc. Isto aproxima a diagonal real razoavelmente em distâncias curtas.
Assim, no seu exemplo, a distância seria de 10 pés indo direto (30 pés-20 pés) e depois 20 pés indo em uma diagonal pura (a menor das duas) com todos os outros quadrantes contando o dobro; ou seja, a distância multiplicada por 1,5x, o que dá 30ft de movimento diagonal para um total de 40ft viajado.
A regra que você lembra de "pegar o mais alto" é da 4ª edição D & D.
(Como você pode ver, o resultado final chega a 5 pés da resposta trigonométrica, por isso é preciso o suficiente para fins de jogo)