A adição de leite funciona porque leite é principalmente água . Pode até funcionar melhor, uma vez que também contém açúcar (lactose) que será ingerido pelas leveduras e bactérias do seu iniciador.
Mas também contém outras coisas, como gorduras. E gorduras, depois de algum tempo, ficam rançosas. Você provavelmente não vai querer esse gosto em pão ou panquecas. Eu ficaria com água (o que provavelmente você acharia mais barato que o leite).
Não se preocupe com leite estragado: seu motor de partida já está podre. E é um ambiente hostil para a maioria dos micróbios. É muito improvável que novos micróbios sobrevivam lá. Mas se o fizerem, serão bastante semelhantes aos já existentes.