Isso parece funcionar.
Como você apontou, o Cajado não diz nada sobre o conjurador ser hostil:
In addition, you can use your reaction when another creature casts a spell that targets only you.
Por isso, deve funcionar como um armazenamento para todos os espaços de feitiços não utilizados de todos os seus amigos.
Mas cuidado!
However, if doing so brings the staff's total number of charges above 50, the staff explodes as if you activated its retributive strike.