Poderia ter sido um feitiço lançado no livro por sua segurança.

Harry pega o livro que começou a gritar na Seção Restrita depois de ter se esgueirado por baixo de sua Capa da Invisibilidade, sem permissão para estar lá ou pegar um livro.

“A large black and silver volume caught his eye. He pulled it out with difficulty, because it was very heavy, and, balancing it on his knee, let it fall open.

A piercing, blood-curdling shriek split the silence – the book was screaming! Harry snapped it shut, but the shriek went on and on, one high, unbroken, ear-splitting note.”
_{^{- Harry Potter and the Philosopher's Stone, Chapter 12 (The Mirror of Erised)}}

Feitiços em livros são possíveis, e Madame Pince é conhecida por usar todos os tipos de feitiços nos livros de sua biblioteca. É muito provável que ela tenha colocado feitiços (alguns ou todos) nos livros da Seção Restrita para evitar que os alunos entrem e os levem.

“Although I have removed the usual library-book spells from this volume, I cannot promise that every trace has gone. Madam Pince has been known to add unusual jinxes to the books in her care. I myself doodled absent-mindedly on a copy of Theories of Transubstantial Transfiguration last year and next moment found the book beating me fiercely around the head. Please be careful how you treat this book. Do not rip out the pages. Do not drop it in the bath. I cannot promise that Madam Pince will not swoop down on you, wherever you are, and demand a heavy fine.”
_{^{Quidditch Through the Ages}}

Não há explicação sobre o motivo pelo qual ele grita. JKR, provavelmente, apenas o colocou lá para o efeito dramático que um livro gritando em uma escola mágica proporcionaria.

Sem explicação da Canon.

Eu pesquisei isso e tentei obter todas as informações que posso ter, e tudo o que descobri é que esse é um pedaço de livro na seção restrita que grita (embora os filmes mostrassem um cenário diferente: o livro gerou um grito cara).

Então, teoricamente, não há tal resposta a respeito de porque este livro grita. Quanto a Pottermore e J.K. Rowling, não há nenhuma razão declarada sobre por que este livro grita.

Todos os livros na área restrita estão lá por um bom motivo. Este livro está lá porque está gritando.

Note que aqui o filme está conscientemente replicando o romance de JKR

He had to start somewhere. Setting the lamp down carefully on the floor, he looked along the bottom shelf for an interesting looking book. A large black and silver volume caught his eye. He pulled it out with difficulty, because it was very heavy, and, balancing it on his knee, let it fall open.

A piercing, bloodcurdling shriek split the silence -- the book was screaming! Harry snapped it shut, but the shriek went on and on, one high, unbroken, earsplitting note. He stumbled backward and knocked over his lamp, which went out at once. Panicking, he heard footsteps coming down the corridor outside -- stuffing the shrieking book back on the shelf, he ran for it.

- Harry Potter e a Pedra Filosofal, Capítulo 12 (O Espelho de Erises)

Existem outros casos de livros encantados nas histórias de Harry Potter. Como "O livro monstro do monstro"

"How do we open our books?" Malfoy repeated. He took out his copy of The Monster Book of Monsters, which he had bound shut with a length of rope. Other people took theirs out too; some, like Harry, had belted their book shut; others had crammed them inside tight bags or clamped them together with binder clips.

"Hasn' -- hasn' anyone bin able ter open their books?" said Hagrid, looking crestfallen.

The class all shook their heads.

"Yeh've got ter stroke 'em," said Hagrid, as though this was the most obvious thing in the world. "Look --"

He took Hermione's copy and ripped off the Spellotape that bound it. The book tried to bite, but Hagrid ran a giant forefinger down its spine, and the book shivered, and then fell open and lay quiet in his hand.

"Oh, how silly we've all been!" Malfoy sneered. "We should have stroked them! Why didn't we guess!"

- Harry Potter e o Prisioneiro de Azkaban, Capítulo 6 (Garras e Folhas de Chá)

Como disse @Bellatrix, os feitiços nos livros parecem ser bastante comuns, e Madame Pince é conhecida por usar todos os tipos de feitiços nos livros de sua biblioteca.

Though I have removed the usual library book spells from this volume, I cannot promise that every trace has gone. Madam Pince has been known to add unusual jinxes to the books in her care. I myself doodled absentmindedly on a copy of Theories of Transubstantial Transfiguration last year and next moment found the book beating me fiercely about the head. Please be careful how you treat this book. Do not rip out the pages. Do not drop it in the bath. I cannot promise that Madam Pince will not swoop down on you, wherever you are, and demand a heavy fine.

- Quidditch Through the Ages, Prefácio

A resposta é mais simples na minha opinião, mas como alguém que tem uma pequena experiência em scripts, tenho certeza. Harry está na Seção Restrita, onde ele não deveria estar, com seu Manto da Invisibilidade, sussurrando porque é noite e tudo está em silêncio! Como se não bastasse, ele está abrindo um livro aleatório, que ele nunca tocou antes.

Agora você também vê que a coisa mais simples que poderia colocar nosso herói em risco e nos manter sem fôlego é que o livro desconhecido começa a gritar!

Antes daquele momento, sabíamos que havia apenas a possibilidade de que a sra. Norris ou outra pessoa viesse ver Harry, mas depois que o livro começou a gritar, todos sentimos que era mais provável que isso acontecesse!

Eu acho que ele gritou por causa de um feitiço ou feitiço que foi colocado naquele livro porque se alguém descobrisse sobre a Pedra Filosofal e Nicolas Flamel, e não pudesse encontrar nada sobre ele nas seções não restritas, eles provavelmente procure na seção restrita ou pelo menos Harry e seus amigos o fariam.

Eu sempre assumi que o livro em questão é cheio de magia obscura, o tipo de feitiços que poderia levar uma pessoa à loucura e além, e que alguém está realmente preso no livro , sendo metafisicamente torturado por essa magia.