No filme, vemos apenas uma jovem amazona, Diana e ficamos sabendo no final que ela é
the daughter of Zeus
e o resto da Amazônia parece ser mais antigo que ela e podemos assumir que todos foram criados por Deuses. Então eu acho que eles não se reproduziram e todos eles são imortais (até mortos) como seus colegas de quadrinhos.
Mas nos quadrinhos eles se reproduziram:
In The New 52 :The Amazons are said to have infrequently invaded ships coming near their island and forced themselves on the sailors, before killing them. After nine months, the birth of the resulting female children was highly celebrated and they were inducted into the ranks of the Amazons while the male children were rejected. In order to save the male children from being drowned to death by the Amazons, Hephaestus traded weapons to the Amazons in exchange for them.
Mas isso não é mencionado em filmes. Então, serão apenas suposições por enquanto.