Sem vê-lo, é difícil dizer com certeza. No entanto, o ventilador está criando 'pressão negativa' dentro do seu apartamento (que parece estar bem perto do ar), e isso quer se igualar ao exterior da maneira que puder. Assim, o ar entra nos quartos pela rota mais fácil possível.
Eu imagino que a parede em que suas tomadas de vento estejam é um tipo de estuque + gesso (drywall?), Algo mais ou menos oco, ou então as tomadas têm um canal na parede sólida até o subsolo ou em outro lugar. O ar vem daí para igualar a pressão no seu apartamento.
Quanto às soluções, elas provavelmente dependem dos regulamentos de construção locais e das regras para alterações em seu bloco. Parece que você pode remover o soquete e a caixa traseira que o prende na parede e colocar um pouco de isolamento atrás (ou no canal dos cabos). Isso provavelmente diminuiria o fluxo de ar, mas lembre-se de que ele começará a passar por algum outro lugar da sua propriedade.
Talvez seja melhor investigar se você pode colocar um respiradouro em algum lugar (suas janelas podem ter algumas no topo que você desliza para abrir e fechar?) Ou colocar um furo explícito, grades e talvez defletores em algum lugar (talvez em o banheiro fora da parede? ou talvez a porta da frente para áreas compartilhadas?). A idéia é que ele crie um ponto deliberadamente 'fraco' na estanqueidade da sua propriedade para permitir que o ventilador aspire o ar e que esse ar seja substituído com relativa facilidade. Provavelmente aumentaria a eficácia do ventilador, às custas da entrada (potencialmente fria) do ar externo, mas pelo menos o ar vem de uma fonte conhecida e, esperançosamente, mais facilmente do que através de pontos fracos aleatórios em locais inesperados.