Por RAW, você está correto, usar um escudo de torre como cobertura nega seu bônus de CA.
Como você disse, a descrição do item é ambígua, mas se você for para a entrada do escudo da torre na tabela armadura e escudo , você vê a seguinte nota de rodapé em anexo:
A tower shield can instead grant you cover. See the description.
Isso faz essas frases,
In most situations, it provides the indicated shield bonus to your AC. As a standard action, however, you can use a tower shield to grant you total cover until the beginning of your next turn.
Bastante inequívoca.
Nota lateral: A entrada do escudo da torre do SRD da Paizo tem o seguinte:
When using a tower shield in this way, you must choose one edge of your space. That edge is treated as a solid wall for attacks targeting you only. You gain total cover for attacks that pass through this edge and no cover for attacks that do not pass through this edge (see Combat).
No entanto, KRyan está certo sobre o escudo da torre sendo super fraco. Es lo que hay.