Li os primeiros 4 livros há alguns anos. Depois de assistir a primeira temporada (e antes da segunda), reli os dois primeiros livros. Na primeira temporada eles trabalharam duro para manter a série o mais perto possível dos livros. Na segunda temporada, sinto que eles se desviaram muito dos livros e alteraram alguns dos eventos, então a história é diferente em algumas áreas. Não estou falando de atalhos que são uma necessidade ao passar de um livro para uma série de TV, mas de mudanças mais profundas.
Apenas para citar alguns:
In the books Aria never meets Tywin Lannister, and so does Littlefinger. John Snow's story is different from what is shown in the series. Osha doesn't tempt a sleep with Theon in the books. The whole scene with Joffery's entourage being attacked after seeing off Marcella, is different, and specifically Sansa Stark doesn't undergo an attempted rape.
Em meus olhos, essas mudanças (e outras) são significativas e alteram a história e nossa compreensão dos personagens. Parece que eles tornaram a série muito mais sexual (não que os livros não sejam) para atrair o público.
Em suma, você não pode pular os livros se quiser obter toda a história e todos os aspectos dela (especialmente se você gosta de ler).