A marca de nascença é vista no episódio da Temporada 5 1, "The Wars to Come", quando Olyvar comenta sobre sua forma parecida com Dorne.
Olyvar: It looks like Dorne.
Loras: No it doesn’t.
Olyvar: It does. That’s the Sunspear bit right there. And that’s where the mountains are. And over here is… Sunsnake? Stonespear?
Loras: Sandstone.
Olyvar: Yes. Yes, Sandstone. Just there.
Loras: Fine. It’s Dorne.
Game of Thrones, Season 5 Episode 1, "The Wars to Come"

Também vale a pena notar que a marca de nascença tem aproximadamente o formato de Dorne, como você pode ver na imagem de comparação abaixo.

Clique na imagem para ampliar.
A marca de nascença é então usada no julgamento de Loras para "provar" que ele tinha relações com Olyvar, como pode ser visto na citação que você mencionou na pergunta. No entanto, alguém poderia argumentar que, como escudeiro de Loras, Olyvar teria visto a marca de nascença em várias ocasiões. É provável que tenha sido realmente a reação de Loras que o prendeu.
Nos livros, tanto quanto posso dizer, Loras não tem uma marca de nascença, na verdade, ele morre antes mesmo de ter um julgamento ou o Faith Militant assumiu o controle adequadamente (se o fizerem nos livros).
She asked about Ser Loras too. At last report the Knight of Flowers had been dying on Dragonstone of wounds received whilst taking the castle.
A Dance with Dragons, Cersei I
Como a marca de nascença foi criada para um ponto da trama, Olyvar teria evidências de que ele e Loras tinham "relações"; parece mais provável que fosse uma invenção do programa apenas para esse ponto da trama.