Da DMG p287 (Criando Novas Opções de Caracteres)
Changing Spell Lists
Modifying a class's spell list usually has little effect on a character's power but can change the flavor of a class significantly. ... Be cautious when changing the warlock spell list. ...
Com base no comentário acima do DMG, provavelmente não seria um problema de equilíbrio significativo trocar na lista de magias do druida e trocar a lista de magias do clérigo.
Observação: guardei a cláusula cautelar em relação aos warlocks para preservar essa cautela e sugerir leituras adicionais para quaisquer leitores curiosos.