Seu pensamento está correto. Pelas regras de dureza:
Each object has hardness—a number that represents how well it resists damage. When an object is damaged, subtract its hardness from the damage. Only damage in excess of its hardness is deducted from the object's hit points
Assim, sempre que o objeto recebe dano, subtrai sua dureza primeiro. Isso é semelhante a como a redução de danos funciona.