De acordo com o extrato de baunilha da FDA, deve conter um mínimo de 35 por cento de álcool ("TÍTULO 21 - ALIMENTOS E DROGAS") Isso é mais ou menos a par da vodka.
Não existe álcool sem sabor. O etanol tem um sabor ("Componentes amargos e doces do sabor do etanol em humanos") e álcool (pelo menos, quando a diluição é superior a 35 por cento) produz uma sensação de queimação na boca e na garganta. Talvez seja isso que você identificou como sabor severo.
Felizmente, existem boas alternativas.
Uma opção é o sabor de baunilha. Isso é semelhante ao extrato de baunilha, na medida em que é feito a partir de grãos de baunilha reais, mas contém quantidades mínimas ou muito baixas de álcool. Em vez disso, o solvente será frequentemente propileno glicol.1
A outra opção muito comum é o que às vezes se chama imitação de baunilha, que não é feita a partir de grãos de baunilha, mas sim de vanilina produzida artificialmente. Tais aromas de imitação podem ou não conter álcool.
A vanilina é um composto orgânico responsável pelo sabor mais proeminente do feijão de baunilha. É produzido naturalmente nos grãos e artificialmente através de vários processos diferentes (que algumas pessoas acham que não são seguros, mas a maior parte da preocupação que eu vi parece não estar fundamentada na ciência, mas no medo de "produtos químicos"). O feijão de baunilha também contém muitos outros sabores, e é por isso que a imitação de baunilha pode ser considerada inferior. Mas, por outro lado, muitos desses outros sabores podem ser desnaturados ou simplesmente oprimidos, principalmente quando cozidos. O conselho geral que ouvi (que pode ter vindo da America's Test Kitchen) é usar imitação de baunilha no cozimento e no extrato de baunilha para fazer coisas como chantilly, onde a baunilha é praticamente o que você mais gosta.
Adicionar imitação de baunilha ao chá pode não melhorar o sabor (mais do que o extrato de baunilha), mas custa muito pouco, por isso não faria mal tentar.
1: Tal como acontece com muitas coisas no mundo online, existem muitas informações ruins sobre o sabor da baunilha. Por exemplo, veja o que a Eden Foods diz sobre o aroma de baunilha:
Natural Vanilla Flavor is an extract of many things using animal glycerin or propylene glycol (antifreeze) and a googol of other synthetic and/or toxic chemicals.
https://www.edenfoods.com/articles/view.php?articles_id=83
Trinta segundos de pesquisa no Google dirão que o anticongelante é etileno glicol, não propileno glicol e que o FDA considera que o propileno glicol é "geralmente reconhecido como seguro" ("PARTE 184 - SUBSTÂNCIAS ALIMENTARES DIRETAS AFIRMADAS COMO RECONHECIDAS GERALMENTE COMO SEGURAS")
O Centro de Controle de Doenças reuniu um "Declaração de saúde pública para propileno glicol", que você pode ler para obter mais informações.