Além da história de como ele foi castrado, nós não temos muita história de fundo sobre Varys no show. Abaixo está sua história de fundo dos livros:
Anos antes da Rebelião de Robert, Varys e Illyrio Mopatis (o comerciante no início da 1ª temporada que 'vende' Daenerys para Khal Drogo e dá a ela os ovos de dragão) iniciaram um negócio em Pentos onde Varys roubava itens de ladrões menores, e Illyrio iria vendê-los de volta aos proprietários originais por uma pequena taxa. Eles logo se tornaram o alvo das pessoas em Pentos para recuperar propriedades roubadas, e ambos ficaram ricos.
Eventualmente percebendo que a informação é freqüentemente mais valiosa do que o ouro, Varys começou a construir uma rede de espiões. Ele comprou crianças órfãs pequenas, rápidas e calmas, ensinou-as a ler e escrever e colocou-as para trabalhar copiando as informações nas cartas, livros e quadros dos ricos e poderosos. (A rede de espiões de crianças de Varys acabou se tornando conhecida como seus "passarinhos".) Usando essas informações para fazer negociações privilegiadas, chantagens, etc., Varys e Illyrio aumentaram sua riqueza em dez vezes.
Eventualmente, Varys tornou-se tão infame que a palavra de suas habilidades alcançou o Rei Aerys II (o Rei Louco) em Porto Real. A essa altura, o rei estava começando a se transformar em paranóia, e ele não confiava mais em sua esposa Rhaella, seu filho Rhaegar ou sua mão Tywin Lannister. Aerys contatou Varys, que concordou em ser o mestre dos Whisperers do rei. Varys rapidamente ganhou sua confiança ao apontar traidores e planejadores, e à medida que a paranóia do rei cresceu, a influência de Varys também cresceu.
No final da rebelião de Robert, Varys tentou avisar o Rei Aerys sobre deixar o anfitrião de Tywin Lannister passar pelos portões. O Grande Meistre Pycelle convenceu-o do contrário, e King's Landing foi demitido. Jaime Lannister matou o Mad King quando pediu aos seus piromantes para queimarem a cidade e Robert Baratheon assumiu o trono sozinho. Os talentos de Varys eram úteis o suficiente para ele ser mantido por perto, então ele foi autorizado a permanecer como Mestre dos Murmuradores.