Não, a torneira não deve vazar como você descreve quando pressão moderada é aplicada diretamente no botão da torneira. Força excessiva existe a possibilidade de que vazaria a menos que você a quebrasse primeiro, caso em que você provavelmente teria um gusher para lidar.
Existem selos em conjunto com este tipo de torneira que podem ficar desgastados, velhos e duros e até rachar com a idade e uso. Quando os lacres começam a falhar, pode vazar de várias maneiras em vários cenários de uso. Às vezes é simplesmente um processo que os selos precisam de alguns lubrificados com vaselina de grau alimentício. Mas na maioria das situações de vazamento, como você descreve, você teria que desligar a fonte de água e desmontar a torneira para que as vedações e talvez até mesmo a válvula de esfera possam ser substituídas.