Sim, se você não usa sua velocidade de nado, seu movimento é penalizado

Swim Speed não é uma regra genérica que permite que você use sua velocidade de movimento padrão para Natação, é uma taxa de movimento específica quando Natação. Todas as criaturas que possuem uma Velocidade de Natação têm uma listada em um valor específico. Não é uma habilidade genérica que lhes permite usar sua velocidade padrão para nadar, mas um valor específico e diferente das outras velocidades de movimento.

Como estamos falando de valores de velocidade específicos, a lógica aqui é bastante simples, com base nas regras referentes a Natação . O WoTC divulgou uma errata que esclarece isso:

Each foot of movement costs 1 extra foot (2 extra feet in difficult terrain) when you’re climbing, swimming, or crawling. You ignore this extra cost if you have a climbing speed and use it to climb or a swimming speed and use it to swim.

Isso agora lhe dá claramente a opção de usar sua velocidade de nado e ignorar o custo extra, ou usar sua velocidade regular com a penalidade.

RAW, a criatura pode mover sua velocidade total de caminhada

While climbing or swimming, each foot of movement costs 1 extra foot (2 extra feet in difficult terrain), unless a creature has a climbing or swimming speed.

Isto implica que você não precisa usar sua velocidade de natação, apenas tenha. (Também, divertidamente, foi apontado que isso também significa que uma criatura com velocidade de nado pode subir a toda velocidade e vice-versa)

No entanto, suspeito que o RAI seja:

While climbing or swimming, each foot of movement costs 1 extra foot (2 extra feet in difficult terrain), unless a creature is using its climbing or swimming speed, respectively.