Apenas meu palpite aqui, mas pode ser que seja possível para o Secret Keeper acidentalmente trazer pessoas para a proteção do encanto de Fidelius.
Foi visto que se alguém aparecesse junto com um Guardião Secreto, é possível que ele entrasse no campo do encanto, mesmo que o Guardião Secreto não pretendesse trazê-lo.
Vimos que o segredo pode ser passado pelo Guardião Secreto, comunicando-se intencionalmente com a pessoa com quem ele quer compartilhar o segredo (Dumbledore escrevendo a localização do Largo Grimmauld para Harry) e muito provavelmente também pode ser compartilhado por direta. comunicação cara-a-cara também.
Meu palpite é que outras formas mais indiretas são possíveis. Por exemplo, Lupin também era um Guardião Secreto no último livro, assim como Harry estava. Ele disse que tinha que aparatar precisamente na soleira da porta para não ser visto pelos guardas do lado de fora. Esta é a mesma coisa que Harry e os outros fazem quando precisam deixar Grimmauld e voltar. Observe que eles não apenas aparatam em algum lugar fora do campo do encanto e caminham para dentro (o que seria mais fácil de fazer). Provavelmente, se alguém os visse fazendo isso, seria bom o bastante contar-lhes o segredo.
Os habitantes de uma residência sob o feitiço de Fidelius, mais cedo ou mais tarde, precisarão sair da área protegida por um motivo ou outro. Se o próprio James fosse o Guardião Secreto, poderia ter sido mais fácil acompanhá-lo sempre que ele saísse da área protegida e "acidentalmente" levá-lo a mostrar o segredo a outra pessoa. Mas se o Guardião Secreto era alguém que não morava na casa, se ele se certificasse de não ir pessoalmente ao lugar e não deixasse escapar o segredo a ninguém, o segredo poderia ser relativamente mais seguro.
Portanto, em suma, é menos seguro para o residente de uma casa sob o feitiço de Fidelius ser um Guardião Secreto, porque ele pode acidentalmente mostrar um estranho onde a casa está quando ele tem que voltar.