DMG página 141 (e a seção correspondente das regras básicas ) afirma:
Multiple Items of the Same Kind
Use common sense to determine whether more than one of a given kind of magic item can be worn. A character can't normally wear more than one pair of footwear, one pair of gloves or gauntlets, one pair of bracers, one suit of armor, one item of head wear, and one cloak. You can make exceptions; a character might be able to wear a circlet under a helmet, for example, or be able to layer two cloaks.
Cintos não são especificamente mencionados aqui, portanto você terá que perguntar ao seu Mestre se é possível.
Eu pessoalmente diria que não; usar dois cintos seria praticamente tão prático quanto usar duas capas, o que é geralmente proibido (ao contrário de usar vários anéis, por exemplo, o que não deveria ser um problema). No entanto, em algumas circunstâncias, você pode conseguir colocar duas capas - mas depende do seu mestre decidir, e a mesma coisa vale para cintos.