Não há uma resposta abrangente correta para isso. Eu acho que existem algumas razões para isso:
Para começar, é divertido. Você mencionou muitos diretores em sua pergunta que fizeram isso e é provável que todos tenham conseguido um bom resultado. Pense nos muitos papéis de Hitchcock ou Tarantino em Reservoir Dogs, ou Pulp Fiction.
Há também um argumento de tradição. Stan Lee, por exemplo, fez isso por tanto tempo, agora que é esperado e muitos fãs se divertem ao localizá-lo em cada um de seus papéis. O mesmo se aplica a Hitchcock.
Depois das razões de diversão e tradição, é plausível sugerir porque eles podem . Muitos diretores não têm a fama ou o reconhecimento de uma participação especial significativa. Mas se alguém como Tarantino, Scorcese ou Peter Jackson faz isso, é instantaneamente reconhecível, dada a sua fama. Isso pode ser comparado a outros diretores, menos famosos, que não seriam reconhecidos. Portanto, ele certamente faz com que fazer aparições lhes dê tempo de antena e as mantém reconhecíveis aos olhos do público.
Estas são apenas algumas das razões. Tenho certeza de que outros argumentos poderiam ser feitos, como o fato de economizar dinheiro (como no caso de um papel mais longo, por exemplo, Tarantino no Django), mas parece ser principalmente uma mistura de diversão e tradição.