Eu não sei o que você quer dizer com "pó de baunilha", a verdadeira baunilha não vem como um pó, mas há uma variedade de produtos processados que são usados para dar sabor a baunilha e vêm em forma de pó.
Se o seu pó de baunilha é feito de vanilina artificial pura, ou contém beta-caroteno, pode ter um sabor residual desagradável. Eu sugeriria dissolver um pouco do pó no leite e beber desse jeito, para ver se o sabor está presente. Não use uma concentração muito alta, isso será muito strong, mas você pode fazer mais do que costuma usar no iogurte.
Se não é o pó, tudo o que você mencionou poderia ter sido um fator. Tente usar um novo lote de iogurte comercial como cultura. Mude o recipiente para algo não reativo, de preferência de vidro. Faça essas alterações separadamente, mantendo os outros fatores constantes, para descobrir qual deles é o culpado.