Se é um bastão em uma panela servindo várias pessoas (como parece da sua pergunta), não é uma parte importante do sabor. A semente também tem um sabor diferente dos paus e pode ser bem strong *, então eu estaria poupando e usando uma pitada, esmagada. Sério come também fala em termos de beliscões, embora eles acham que gosto "exatamente como aipo" ou "muito semelhante".
Se houver muita coisa lá, a substituição provavelmente não é uma boa idéia, pois a diferença no sabor será mais aparente e também afetará a textura.
* A última vez que usei semente de aipo foi cultivada em casa, que pode ser mais strong do que comprada.