Por que o próprio Ego não colecionou seus filhos?

Nenhuma resposta direta é dada no filme, mas Ego diz:

I had Yondu deliver some of them to me.

(ênfase adicionada)

Então, é inteiramente possível que ele tenha coletado alguns de seus filhos, e enviado Yondu para buscar outros. Ou, depois de tantos fracassos, ele pode estar gastando seu tempo fazendo mais filhos. No entanto, no caso de Pedro, Ego dá uma razão: ele diz que seria muito doloroso retornar à Terra, sabendo que Meredith Quill estava morta. Isso é provavelmente verdade, dado que

Ego gave her the cancer that killed her.

e apesar de suas outras mentiras, parece que Ego realmente a amava.

Uh, números e tempo ...

Não sabemos quantas mulheres Ego dormiu e onde elas estavam na galáxia em relação à sua base. Nós também não sabemos que ele parou de dormir com mulheres para continuar isso depois que ele fez Peter.

Minha impressão foi de que Ego tinha tantos que Yondu não voltaria com Peter não era algo que o incomodasse profundamente, e ele tinha muitos outros garotos vindo de diferentes fontes ou ele foi e conseguiu os mais próximos ( veja a resposta do KSmarts - realmente acho que outras pessoas estavam transportando-as para o Ego). Apenas uma vez que ele ouviu falar sobre a Pedra do Infinito, o Ego decidiu procurar, e juntou que tinha que ser Peter. Se ele investigasse, o nome de Peter Quill estaria em qualquer relatório sobre isso. E Ego saberia quem é, só pelo sobrenome.

Basicamente, com toda a desossa, a invasão de crianças, a manutenção de seu planeta e poder, o cara simplesmente não teve tempo de pegar todos os seus filhos quando eles ficaram "maduros".