As desvantagens são as mesmas que usar uma armadura comum na qual você não tem proficiência
(Note que usei as regras básicas pg.44 como referência, mas a informação deve ser a mesma do PHB, pg. 144)
Você afirma que escudos não são armaduras. Eu desafio essa afirmação. Os escudos não são corpo de armadura (como mencionado em esta resposta na primeira questão relacionada) . A resposta na primeira pergunta vinculada está indicando que todas as armaduras do corpo mudam como a CA é calculada, enquanto as blindagens dão uma CA +2.
No entanto, os escudos ainda estão listados na tabela de armadura junto com todas as armaduras leves, médias e pesadas. O título da seção que você cita é "Armadura e Escudos" e a seção começa:
Anyone can put on a suit of armor or strap a shield to an arm. Only those proficient in the armor’s use know how to wear it effectively, however.
Além disso, a proficiência de escudo é observada na seção "proficiências de armaduras" da descrição da classe.
Baseado no fato de que os escudos são agrupados quando se fala de armadura na própria armadura, no início da seção anterior, bem como nas perícias de armadura da descrição da classe, os escudos devem ser considerados como armadura. Assim, quaisquer desvantagens vêm do uso de armaduras com as quais você não é proficiente e também se aplicam ao uso de escudos se você não tiver proficiência.
Como um aparte e uma nota sobre a sua segunda questão ligada, só porque um escudo não interfere com a Resiliência Dracônica do feiticeiro, não significa que o feiticeiro não precisa uma proficiência de escudo de outro lugar, como multiclasse, para usá-lo efetivamente.