O que você está tentando fazer é chamado de sistema de drenagem francês. Se você procurar no Google para drenar francês, encontrará uma tonelada de informações e diagramas úteis.
O cascalho grosso é tipicamente a base. Este é então coberto com um pano de cascalho e de paisagem mais fino, para ajudar a evitar o entupimento. Se você usa areia também, você definitivamente quer usar um pano para evitar que a areia seja drenada.