Um livro usado como arma usaria as regras normais para armas improvisadas . Como a regra diz, o dano é baseado no julgamento e na comparação com as armas existentes. (Existem outros detalhes, é claro - melhor ler a regra para obter uma visão completa).
Como poucos livros são grandes o suficiente para se comparar a uma espada longa e ainda serem leves o suficiente para usar como arma (ou até mesmo como um livro), provavelmente o maior dano até mesmo um livro grande seria 1d4 - comparável a um clube. Talvez até 1d4 não letais (como seiva).