Olhando como a CA é calculada, posso ter respondido a minha própria pergunta.
Olhando para a geração de pontuação de habilidade na página 59, se você tem duas origens que possuem o mesmo valor de habilidade primária de Inteligência ou Destreza, então você teria um modificador de 5 para essa habilidade que daria ao seu personagem um baixa CA de 15 quando comparada contra monstros Gamma World ou PCs DnD 4e (uma comparação válida devido à relação dos dois sistemas).
Se seus dois atributos primários não corresponderem, mas um deles for int ou dex, seu modificador será 4 para um AC de 14 - ainda menor.
Então, parece que sim, o sistema espera que todos usem armaduras de algum tipo para elevar os ACs em 3 ou 7 pontos (mais um de vocês usa um escudo).