Eu não tenho meu livro na mão ATM, mas a explicação é que, somente aqueles com o Spark até se lembrariam de que você esteve lá e notaria a ausência. A maioria dos nativos da recusa simplesmente "aceita" a sua presença enquanto você está lá, e "aceita" a sua ausência (ou melhor, não se importa).
Se for mais fácil, pense nos nativos não-Sparky como criações simples em um Star Trek Holodeck (tm), com apenas uma IA básica (eles mantêm o mesmo enredo, o tempo todo); enquanto aqueles com o Spark são criações "vivas", capazes de interagir e reagir aos "visitantes" de uma maneira mais normalizada.