A questão não é que o totem de repente perde alguma habilidade mágica se as pessoas o tocarem. O totem funcionaria bem, não importa quantas pessoas o manejassem.
O ponto do totem é que ele tem alguma propriedade especial que só você conhece, e se alguém manipulasse o totem, ele seria capaz de recriá-lo perfeitamente.
Desde que ninguém consiga recriá-lo perfeitamente, se alguém tentar enganá-lo em um sonho, você saberá porque seu totem não estará bem. No entanto, se eles tivessem lidado com o seu totem, eles poderiam recriá-lo perfeitamente, então você não seria mais sábio.
EDIT: Para estender a resposta, o totem seria confiável contra qualquer um que não tivesse tocado, e não seria confiável contra pessoas que o tivessem. Não é realmente dito o quão difícil é recriar um totem comprometido em um sonho bem o suficiente para enganar seu dono, mas dado que o arquiteto dos sonhos é capaz de recriar quase tudo por pensamento e memória, eu diria que não é tão difícil. Assim como eles não precisam se concentrar em cada fibra individual de um tapete para recriar o tapete, eles não precisariam de uma medida exata de todas as propriedades físicas do totem.
É uma questão da intuição do cérebro; Eu comparo isso à nossa capacidade natural de julgar a trajetória de algo viajando em um arco parabólico sem ter que conhecer todas as fórmulas para descrevê-lo matematicamente, nem qualquer medida de sua velocidade atual e / ou vetor.