Se realmente tem que ser comprimidos, então eu acho que você precisa misturar algo que se dissolva mais facilmente do que o pó de cafeína. Açúcar em pó parece um bom candidato. Eu encontrei algumas referências para as pessoas usá-lo como um material obrigatório para outras pílulas, então presumivelmente vai funcionar.
Dependendo de como você está fazendo o seu chá, você também pode adicionar a pílula enquanto estiver fervendo a água, para dar mais tempo para se dissolver e para garantir que ela fique quente.