Embora não possa citar nenhuma fonte específica para isso, vou postular a seguinte resposta:
Sim, a integridade estrutural será afetada, mas não é suficiente para se preocupar.
A caixa que você descreve não é adequada para carregar qualquer tipo de carga e, como você diz acima, é para fins de exibição. Perfurar um buraco minúsculo não causará qualquer rachadura - na verdade, é uma técnica usada em pára-brisas (particularmente pára-brisas de aviação usada em aviões pequenos) para impedir que as rachaduras continuem a se espalhar. (Um pequeno orifício perfurado à direita na borda principal de uma rachadura em expansão alivia as tensões de maneira correta)
O vidro de aviação é diferente do que você tem, mas ainda assim - eu acho que você está bem. Estou curioso por que fazer um buraco nele? Isso terá uma tendência para reter a umidade.