Você pode comparar com a raça Halfling no PHB, que é uma corrida oficial que tem apenas um tamanho pequeno.
Os únicos traços dessa raça que claramente estão abaixo do seu tamanho são a velocidade de 25 pés e possivelmente a "agilidade Halfling" que permite que eles se movam através de um espaço de uma criatura maior.
(Você menciona menor agilidade, mas halflings na verdade recebem um +2 para Dex, o que, se nada mais, implica que tamanho e agilidade não estão necessariamente relacionados).
Já existem regras na seção de Armas do PHB em relação a criaturas pequenas (uma pequena criatura tem desvantagem com qualquer arma designada como 'pesada')