Está correto. A magia (como a maioria dos feitiços) usa consistentemente "você" para se referir à pessoa que a lançou. De fato, todo o capítulo sobre conjuração usa "você" para se referir ao lançador. Eu poderia passar e fornecer um monte de citações com a palavra "você" em negrito, mas parece desnecessário.
Parece-me que você vê a necessidade de ser a pessoa que usou o feitiço para usar a gema como algo ruim. No entanto, o objetivo deste feitiço é salvaguardar algo valioso para você, de modo que ele não possa ser roubado ou perdido. Se você é um Mago, este é provavelmente seu livro de feitiços, que é absolutamente vital para o seu funcionamento como personagem e provavelmente inútil para o resto do grupo. Geralmente, não há mais ninguém que você gostaria de encontrar ou recuperar.