Em relação especificamente aos White Walkers, meu entendimento é que eles são de alguma forma criados pelo sacrifício de seres humanos. (Isto é corroborado no show na representação da criação do primeiro White Walker.) Na questão masculina, você pode olhar para Craster. Craster sacrifica apenas crianças do sexo masculino para os White Walkers. [Note que há uma distinção entre "Wights" e os mestres White Walker que os reanimam.]
Em relação aos Filhos da Floresta, parece que a versão para TV só mostra mulheres, mas a resposta da @cde de que elas são "infantis" e, portanto, "ambíguas" é quase certamente correta.