Acredito que parte da resposta está nas visões originais do folclore sobre magia.
Antes e durante a era medieval, de acordo com a Igreja Cristã, a magia era uma perversão perversa e demoníaca da ordem natural. As pessoas que praticavam magia eram vistas como bruxas velhas e feias e feiticeiras perversas que usavam o sangue de bebês cristãos e lidavam com o próprio Satanás. Os acusados de feitiçaria não eram o tipo de pessoa que provavelmente estaria em muitas batalhas, espada contra espada. Magia era vista como uma arma fraca e feminina (que na época significava covarde), e estava ligada a doenças, venenos e outros "debuffs" dos dias de hoje.
Esses magos, portanto, não eram vistos como os tipos de pessoas fisicamente capazes de lutar em um exército. Os estudiosos também eram, creio eu, vistos como homens fracos. Portanto, há uma longa tradição de magos que não usam armaduras, pois não lutariam abertamente. Outro fator foi que muitas pessoas acreditavam que as bruxas poderiam, por exemplo, endurecer a pele para evitar golpes de espada. Portanto, eles não precisariam de armadura de qualquer maneira.
Renan Malke Stigliani também levantou um ponto excelente sobre Merlin, um bruxo muito famoso, que era poderoso e sábio, mas velho demais para lutar com uma espada e armadura, reforçando novamente a magia como alternativa ao combate físico, em oposição a uma tática complementar.
Então chegamos ao mais famoso mago de todos, Gandalf. Ele era uma figura mística, quase todo-poderosa. Ele não precisava de armadura, pois nunca se feriu. Seu poder estava em outras coisas além do combate físico.
Outras idéias (em outras culturas) de como a mágica funcionava envolviam roupas especiais, joias, movimentos, sigilos, etc. e não eram realmente portáteis. Um druida poderia lançar um amuleto de boa sorte para fazer as plantações crescerem, mas ele não dançaria de armadura completa. Muitas vezes, a magia então tinha muito menos a ver com a luta do que a idéia da cultura pop agora, então magos novamente não precisavam ficar desconfortavelmente vestidos em placas de metal sólido enquanto lançavam feitiços.
Então, quando D & D foi criado, junto com a criação do conceito de um mago fraco saindo e lutando contra mosters em masmorras com corredores de 10 pés de largura, as classes precisavam ser equilibradas. Os lutadores eram simples - todas as armas e armaduras eram permitidas. Os sacerdotes eram mais limitados em armas, em troca de magias no 2º nível. Magos obtiveram magias no primeiro nível e foram mais limitados em melee como resultado.
Em AD & D 2e, o mago é limitado devido à explicação de que ele não tem treinamento para usar armadura e empunhar armas (exceto aquelas que exigem pouca força, pouco treinamento ou ambos). Essa explicação, embora melhor que nenhuma, é menos que perfeita.
Mais tarde (quando a ASF foi introduzida), a ideia de armaduras atrapalhando os gestos surgiu como explicação. Isto é, nos D & D modernos, o padrão aceito, junto com os meios para os magos contornarem ( Mage Armor , equipamento especial, etc.).