Embora não afirme isso diretamente, parece que você pode lembrar onde a casa estava, mas você não conseguirá mais localizá-la.

Professor Flitwick cleared his throat.

‘An immensely complex spell,’ he said squeakily, ‘involving the magical concealment of a secret inside a single, living soul. The information is hidden inside the chosen person, or Secret-Keeper, and is henceforth impossible to find – unless, of course, the Secret- Keeper chooses to divulge it. As long as the Secret-Keeper refused to speak, You-Know-Who could search the village where Lily and James were staying for years and never find them, not even if he had his nose pressed against their sitting-room window!’ - Prisoner of Azkaban

Isto está implícito que se Voldemort soubesse que James e Lily viviam em Godrics Hollow, ainda seria impossível localizar a casa deles, por causa da magia que a protege.

Ainda mais tarde na série temos Comensais da Morte / outros saindo em frente ao Largo Grimmauld, porque eles sabem onde deveria estar, mas não conseguem enxergá-lo.

Barely a day passed without one or two people arriving in Grimmauld Place with no other purpose, or so it seemed, than to lean against the railings facing numbers eleven and thirteen, watching the join between the two houses. The lurkers were never the same two days running, although they all seemed to share a dislike for normal clothing. -Deathly Hollows

Como o local é possível, é improvável que o feitiço faça com que você o esqueça.

Sim

De Pottermore:

The Fidelius Charm is extremely ancient and still used to this day. It involves the concealment of information inside a living person. The chosen person, or Secret Keeper, is the only person who is thenceforth capable of revealing the protected information to others, however many previously knew it.
_{(Pottermore, "Secret Keeper").}

Isso está de acordo com a resposta de Himarm. Parece que o Feitiço Fidelius induz esquecimento sobre o local específico que está sendo protegido. Você esqueceria onde estava um local e não conseguiria encontrá-lo, mesmo se estivesse familiarizado com ele. Como diz Pwassonne, não haveria muito sentido nisso senão.