Não há nada que impeça uma pessoa de conhecer a existência dos Silenciosos.
Embora você não consiga lembrar de nada do que você faz na presença de um Silencioso, isso não impede, digamos, ler sobre eles ou ouvi-los. Esse foi o objetivo dos nano-gravadores e das marcas de registro em "Day of the Moon"; eles permitiram que o Doutor e seus aliados contornassem a prova de memória dos Silenciosos. Uma gravação ou uma nota que você deixa para si mesmo enquanto olha para um Silencioso (um dos quais Amy fotografou com seu telefone naquela época) não vai embora só porque você pára de olhar para o Silêncio, então você pode ler disse nota e verificar as informações independentemente de um silencioso. Então é inteiramente possível que o Doutor simplesmente tenha escrito tudo o que ele precisava saber enquanto olhava para a fotografia no telefone de Amy (a primeira cena na TARDIS em "Day of the Moon" nos faria acreditar que sabia da foto dela telefone, já que ele havia colocado a TARDIS para extrapolar a imagem e criar um holograma dela), desviou o olhar do telefone e leu a nota que ele deixou.
Além disso, em "The Time of the Doctor", o médico estava tendo reuniões regulares com Tasha Lem, que era o chefe do Mainframe Papal. Como os Silenciosos eram os sacerdotes do Mainframe Papal, parece improvável que o sujeito nunca tivesse entrado em conversa entre os dois.