A arma Mage Hand pode ser usada para puxar as calças de alguém para baixo como uma brincadeira?

Improvável.

As calças de alguém seriam inerentemente qualificadas como um objeto atendido, e existem proteções sobre elas. As armadilhas geralmente são, na verdade, a forma mais fraca de vários tipos de feitiços. Ilusão Menor é o menor dos feitiços da ilusão. Amigos é Menos Charme. Mão de Mago pode ser considerado como menos telecinesia

Incluo uma parte pertinente da citação para Telecinese (um feitiço de quinto nível, que requer concentração):

Object: You can try to move an object that weighs up to 1,000 pounds. If the object isn't being worn or carried, you automatically move it up to 30 feet in any direction, but not beyond the range of this spell.

If the object is worn or carried by a creature, you must make an ability check with your Spellcasting Ability contested by that creature's Strength check. If you succeed, you pull the object away from that creature and can move it up to 30 feet in any direction but not beyond the range of this spell.

Mesmo no caso desse feitiço, consumir um slot de feitiço de nível relativamente alto e capaz de carregar até 1000 lbs, uma tentativa de mover um item com a presença de uma criatura (como as calças) exige uma verificação de habilidade oposta. A mão do mago não será capaz de retirá-lo de graça.

Claro, como tantas coisas no 5e, é a chamada do DM ...

Mage Hand permite que você "manipule um objeto" - permitindo interações com objetos padrão ... o tipo de coisa que qualquer um pode fazer, sem rolar, uma vez por rodada, sem gastar sua ação. Esse tipo de ação está no mesmo nível de desenhar ou embainhar uma arma. Agora, o mestre poderia julgar que "puxar a calça de alguém" pode ser feito a qualquer momento como uma interação com o objeto, sem a necessidade de rolagem; nesse caso, sim, você pode fazê-lo com a Mage Hand.

... Mas haveria consequências.

O problema com isso, porém, é ... bem, qualquer um pode fazer isso. Todo jogador recebe uma interação de objeto a cada rodada e, em muitas rodadas, não terá nada melhor a ver com isso. Cada inimigo recebe uma interação de objeto a cada rodada e é ainda menos provável que tenha algo a ver com isso. Você realmente quer dar aos Goblins a capacidade de abaixar suas calças, com um auto-sucesso, a qualquer momento que estiverem ao seu alcance? Você não é o único idiota desagradável da cidade. E as suas botas? Eles podem roubar suas botas no meio do combate, sem se preocupar em diminuir a facada? Este poderia ficar muito feio, muito rápido.

Não tenho certeza de como foi sua infância, mas se você já vestiu alguém, saberia que isso requer duas mãos e um puxão decente. Está na calça com cinto. Se estiver bem preso, seria ainda mais difícil.

Então pode funcionar?

Sim. Mas duvido que isso aconteceria. Você provavelmente precisaria de dois Arcane Tricksters fazendo isso para coordenação e, mesmo assim, eu provavelmente exigiria um teste STR em desvantagem (o Mage Hand só pode manipular o 10 lbs) para ter sucesso.

Tanta diversão para se divertir com esta pergunta!

A linguagem simples do texto implica que algo como "arfar" poderia ser tentado. Você pode "manipular um objeto" (PHB) nesse caso, uma fivela de cinto e um botão. Isso certamente não é mais técnico do que abrir uma maçaneta ou trancar uma fechadura. (exemplos em PHB)

Também requer menos do que as libras de força de peso especificadas 10 para atingir.

Mas quanto ao efeito de alguém calça realmente caindo? Penso que é improvável que tenha sucesso como pretendido, embora logicamente possa causar uma distração significativa e divertida. Mesmo com as calças desfeitas, um puxão com cerca de dez libras de pressão não fará com que as calças de alguém caiam nos tornozelos.

Tente. Acabei de fazer e não funcionou!

Mas ... um leve deslizamento nas calças pode levar a pessoa a querer rapidamente corrigir a situação potencialmente embaraçosa em particular.

Penso que esta solução está alinhada com a intenção do malandro arcano e evita mover a mão do mago em direção à área das táticas de batalha.

Geralmente, não sou a favor da ideia de que os feitiços "sabem" para que estão sendo usados. Quando o texto do PHB diz que algo não pode ser usado como ataque, escolho explicar isso em termos de peso e precisão - não de efeito. Critério dos mestres, é claro.

Então sim, calças usadas por uma criatura são uma objeto.

No entanto, o que você está fazendo pode ser considerado um assalto (de uma forma que é legal):

An assault is the act of inflicting physical harm or unwanted physical contact upon a person or, in some specific legal definitions, a threat or attempt to commit such an action. It is both a crime and a tort and, therefore, may result in either criminal and/or civil liability.

Ênfase minha. Como mestre, eu governaria arregaçando como agressão (sexual).
As pessoas nem sempre usam calcinha e, mesmo que usem, também podem escorregar. Imagine seu alvo sendo uma mulher? Muito indesejado e impróprio.
Pessoas às quais o IRL foi acusado assalto para calças.

As palavras Assalto e Ataque são sinônimos no idioma inglês.
Mão Mago diz:

The hand can't attack, activate magic items, or carry more than 10 pounds.

RAW simples não "mas é". Ele não diz que você não pode executar "ações de ataque" com ele, diz que não há ataque (de qualquer tipo).

Calar alguém sem a mão de um mago e sem uma rodada surpresa certamente se tornaria uma ação de agarrar ou empurrar uma partida de combate e, portanto, eu diria que atacaria alguém.

Se você estava consertando os botões de alguém, isso não é assalto.