Catapulta o dano não se baseia no peso e não pode lançar criaturas
1). CatapultaO dano é baseado no nível em que é lançado, não no peso do projétil.
Embora lançamentos de nível mais alto desse feitiço permitam que você lance objetos mais pesados, isso não é explicitamente necessário para causar mais dano. Catapulta estados (XGtE, p. 150, negrito adicionado)
When you cast this spell using a spell slot of 2nd level or higher, the maximum weight of objects that you can target with this spell increases by 5 pounds, and the damage increases by 1d8, for each slot above first.
Embora você possa arremessar objetos mais pesados, o cancelamento deste feitiço não exige que um objeto mais pesado cause mais danos. O feitiço especifica que você pode jogue um objeto mais pesado com uma versão upcast deste feitiço, mas você definitivamente causar mais dano (se o objeto jogado é ou não mais pesado). Por uma leitura estrita das regras deste feitiço, você pode lançar um objeto de libra 1 com uma conversão de nível 3rd dessa magia, causando dano de 5d8 (3d8 para a transmissão, + 2d8 para o slot de nível 3rd).
Como evidência adicional de que o dano do feitiço depende exclusivamente do nível do feitiço, observe que o objeto usado por esse feitiço quando lançado com um slot de feitiço de nível 1 pode ser
one object weighing 1 to 5 pounds. (Ibid)
Se o peso determinasse o dano, o objeto da libra 5 provavelmente causaria cinco vezes o dano que um objeto de uma libra causaria. Mas esse não é o caso. O peso do objeto não determina o dano causado pelo feitiço. Somente o slot de feitiço usado determina o dano: o fato de os slots de feitiço também permitirem que você jogue objetos maiores é incidental.
2). Catapulta lança objetos, não criaturas.
Você menciona jogar uma libra 40 criatura (reduzido para libras 5 através do feitiço Ampliar / Reduzir) com o Catapulta soletrar. Isso não será possível, pois a catapulta permite que você jogue objetos, não criaturas (veja a citação mais recente). Por mais engraçado que seja, enviar um duende encolhido voando com esse feitiço, você terá que se satisfazer batendo muito forte com um objeto próximo.
Dito isto ...
Há um texto explícito no feitiço Ampliar / Reduzir indicando que fazer com que uma criatura cresça para dobrar de tamanho fará o seguinte:
The target’s weapons also grow to match its new size. While these weapons are enlarged, the target’s attacks with them deal 1d4 extra damage.
Há texto semelhante indicando que o encolhimento fará com que as armas de um alvo causem menos 1d4. Sendo esse o caso, você poderá convencer o Mestre a deixar seu objeto pequeno arremessado (libra 5) retornar ao seu tamanho real (libra 40) causar um dano extra à 1d4, como está implícito no texto de Ampliar / Reduzir. Eles não teriam obrigação de fazê-lo, pois o objetivo de Ampliar / Reduzir não era uma criatura (o que está implícito na seção sobre dano extra), nem o objeto com o qual você está atirando Catapulta necessariamente uma "arma". Mas eu suspeito que um Mestre possa ser generoso e deixar você ter esse.
Especialmente porque levaria dois turnos para definir essa estratégia e exigiria que você usasse um slot de feitiço de primeiro e segundo nível. Se você tivesse acabado de lançar Catapulta duas vezes (uma vez com um slot de primeiro nível e uma vez com um segundo), você poderia ter causado um dano de 7d8 nesses dois turnos (embora não para dois alvos ao mesmo tempo, como você está sugerindo). Usando sua estratégia, você causaria dano ao 3d8 + 1d4 (novamente, apenas a um alvo), o que dificilmente parece valer a pena.