A resposta curta é que há mais em um projeto de construção em larga escala, especialmente em um clima de inverno, então você está dando crédito e, quando os leva em consideração, um local mais ao norte pode ser extremamente tolo.
Embora a magia tenha sido construída na parede, ela não foi construída exclusivamente (ou facilmente) apenas com magia. Trabalho manual real estava envolvido.
Para um projeto de construção tão grande, é preciso levar em consideração a logística. Embora possa haver uma extensão de terra "mais estreita" mais ao norte, quanto mais ao norte você for, mais difícil será obter mão de obra e suprimentos (tanto para a construção quanto para a mão-de-obra) no local. Isso também complicaria manter o muro guarnecido após sua construção. Além disso, tentar fazer a construção durante as condições (permanentes) do inverno torna as coisas radicalmente mais difíceis do que construir em uma área onde há um período mais hospitaleiro e mais quente durante o qual construir. As cidades modernas do norte (EUA) fazem praticamente zero de construção durante os meses de inverno, esperando por períodos mais quentes; Eu sei que os nativos de Michigan gostam de brincar "Em Michigan, temos duas estações: inverno e construção".
Também o leva a territórios contestados, tornando mais provável o encontro com animais selvagens ou outros, o que dificulta ainda mais a construção.
Você também não foi responsável pelo terreno. Os bits "mais estreitos" mais ao norte podem ser muito inadequados para a construção. Pode estar muito longe de ser plana, e o solo abaixo pode ser de um material ruim para suportar uma estrutura tão grande (você não gostaria que ela desmoronasse devido a uma fundação afundando, um buraco de pia, etc.). As cenas que vimos do programa de TV que mostra as regiões ao norte do muro parecem terrenos montanhosos, rochosos e pouco desenvolvidos que provavelmente seriam problemáticos para a construção. Tentar limpar e nivelar um trecho de terra menor e reforçar e ampliar a fundação levaria mais tempo e recursos do que onde ela foi construída. Não temos registros de que tipo de levantamento Bran pode ter feito, mas é plausível que ele tenha considerado um local mais ao norte e finalmente tenha decidido contra isso porque havia um canteiro de obras muito mais adequado ao sul.
Somando-se aos problemas climáticos, quanto mais ao norte você for, mais se torna "inverno permanente". Os ventos depositam naturalmente neves ao pé do muro, criando um banco de neve muito mais profundo do que o que seria de outra forma; o pé do lado onde você não quer que os inimigos possam simplesmente escalar um monte enorme de neve para ultrapassar a parede. Esse acúmulo é o que permite a Theon e Sansa escapar de Winterfell: eles pulam de uma parede para um grande acúmulo de neve em pó. Eventualmente, em uma escala de altura tão grande, o peso da neve acumulada pode começar a comprometer a própria parede. Pode não ser mais capaz de suportar o peso de toda a neve que pressiona contra ela; um grande acúmulo também acabaria por começar a comprimir o solo abaixo dele, o que pode comprometer a fundação estrutural da parede. Essa compressão também resulta em aquecimento, o que pode causar um diferencial de temperatura entre as partes da parede, causando estresse. Se o calor da compressão for suficiente para derreter a neve na base, você terá problemas adicionais: a água começará a corroer o solo, infiltrando-se em qualquer rachadura na estrutura ou acumulando-se abaixo da base e comprometendo a fundação, e se se congelar mais tarde, expandirá e pressionará mais a parede e sua fundação. Todos esses trabalhos contra a parede são uma barreira (semi-) permanente, pois podem permitir que a própria natureza destrua a parede em questão de anos.
Não temos muitos detalhes sobre as funções exatas da parede, especialmente a mágica que estava entrelaçada com ela. Talvez a magia não apenas atue como uma barreira para os Outros, mas também tenha a intenção de ser funcional o suficiente para combater alguns desses problemas. Afinal, vemos indicações de que nevou várias vezes no topo e na base da parede, mas não parece haver nenhum acúmulo significativo na base. Vimos nesta foto do programa de TV que há alguns metros de neve acumulados no portão, que foram cortados para permitir o trânsito pelo portão:
É mencionado que parte dos deveres da Patrulha da Noite é a manutenção e o reparo do muro, e para impedir que a floresta se aproxime demais (isso pode ser simplesmente para impedir a cobertura dos inimigos, mas também para impedir que os sistemas radiculares comprometam a Fundação). Portanto, uma certa quantidade de dano do tempo e da natureza já era pressuposta, o que significa que eles devem ter tentado controlar quanto dano poderia acumular para permanecer manejável. Mas as forças dos homens e da magia podem não ter sido fortes o suficiente para contrariar o que o muro teria que suportar mais ao norte. De uma maneira ou de outra, quando consideramos as complicações que provavelmente encontraremos movendo o muro para o norte, torna-se razoável que em algum momento se torne insustentável construir ali. E, visto que o muro está onde está e durou milhares de anos, parece que foi determinado que a melhor localização para o muro está exatamente onde está.