Normalmente, você pode ajustar o flutuador para que ele seja desligado em um nível de água mais baixo. Além disso, às vezes o flutuador está apenas ficando preso (e precisa ser limpo).
Editar: Se o ajuste ou limpeza não funcionar, você precisa substituir a válvula de enchimento (não é uma peça cara).
Edit2: Reiterando o comentário de Ed Beal, você pode querer começar com o desligamento da água para o banheiro e lavar a água. Então você pode inspecionar ou substituir a válvula de enchimento. Um kit de válvula de enchimento pode ser adquirido por menos de $ 10.