Sim, cada seção da parede é considerada um objeto.
DMG 246 implica que uma parede é um objeto:
Use common sense when determining a character's success at damaging an object. Can a fighter cut through a section of a stone wall with a sword? No, the sword is likely to break before the wall does.
O DMG 247 confirma que as paredes são objetos, afirmando que as paredes do castelo contam como objetos:
Big objects such as castle walls often have extra resilience represented by a damage threshold.
Além disso, o Instant Fortress da Daern possui partes que recebem explicitamente a HP (DMG 161):
The roof, the door, and the walls each have 100 hit points, immunity to damage from nonmagical weapons excluding siege weapons, and resistance to all other damage.
Se as paredes dessas estruturas contam como objetos, então faz sentido que uma parede da caverna também contasse como um objeto para os propósitos de magias, uma vez que as duas coisas são semelhantes. No entanto, o DMG trata seções individuais de paredes como objetos separados. Enquanto paredes são objetos, edifícios inteiros não são (DMG 246):
For the purpose of these rules, an object is a discrete, inanimate item like a window, door, sword, book, table, chair, or stone, not a building or a vehicle that is composed of many other objects.
Isso se enquadra na cláusula de "uso do senso comum" da primeira citação. No caso do Instant Fortress, reduzir uma das paredes para 0 HP não reduz toda a estrutura ao pó, por exemplo.
Portanto, o Mestre consegue usar seu "bom senso" para determinar o que acontece quando uma porção de uma parede é alvejada. Se um mago lança o verdadeiro polimorfo na parede da caverna, eu, como mestre, não decidirei que todo o complexo da caverna (ou o planeta inteiro!) Será polimorfo - apenas uma grande parte dele.
Como você pode ver, as regras explicitamente dão ao DM muita latitude sobre como os PCs interagem com seu ambiente.