Quando Bilbo foi considerado pela primeira vez um hobbit incomum?

Bilbo só foi considerado incomum _¹ depois de sua aventura

¹ A palavra " incomum " (ou diferente) será a partir daqui substituída pela " Queer " original usada por Tolkien.

It is true that for ever after he remained an elf-friend, and had the honour of dwarves, wizards, and all such folk as ever passed that way; but he was no longer quite respectable. He was in fact held by all the hobbits of the neighbourhood to be ‘queer’—except by his nephews and nieces on the Took side, but even they were not encouraged in their friendship by their elders.
_{The Hobbit: Chapter 19, The Last Stage}

No entanto, devemos notar que Bilbo sempre teve aspectos estranhos sobre ele. Tendo pegado algumas das características da família Took, uma família conhecida por suas aventuras (e também ter um membro alto o suficiente para poder montar um cavalo e inventar golfe!). Seu " queerness ", no entanto, não havia sido notado por outros além de Gandalf (como mencionado nos Contos Inacabados ), pois ele nunca teve a chance de se expressar.

It was often said (in other families) that long ago one of the Took ancestors must have taken a fairy wife. That was, of course, absurd, but certainly there was still something not entirely hobbitlike about them, and once in a while members of the Took-clan would go and have adventures. They discreetly disappeared, and the family hushed it up...

... Not that Belladonna Took ever had any adventures after she became Mrs. Bungo Baggins. Bungo, that was Bilbo’s father, built the most luxurious hobbit-hole for her (and partly with her money) that was to be found either under The Hill or over The Hill or across The Water, and there they remained to the end of their days. Still it is probable that Bilbo, her only son, although he looked and behaved exactly like a second edition of his solid and comfortable father, got something a bit queer in his make-up from the Took side, something that only waited for a chance to come out. The chance never arrived, until Bilbo Baggins was grown up, being about fifty years old or so.
_{The Hobbit: Chapter 1, An Unexpected Party}

Como mencionado por @ User001 Belladonna Took era de fato uma pessoa aventureira em sua juventude. Tendo feito parte das " três filhas notáveis " do Velho Tom

“ As I was saying, the mother of this hobbit—of Bilbo Baggins, that is—was the famous Belladonna Took, one of the three remarkable daughters of the Old Took
_{The Hobbit: Chapter 1, An Unexpected Party}

É evidente que a famosa Beladona fez com que Bilbo (e possivelmente Frodo) adotasse parte de seu espírito aventureiro.

Is this just an inconsistent narrative or am I just misreading it?

Acho que você está interpretando mal.

When exactly was Bilbo first regarded as queer (or unusual) by his fellow neighbors in Hobbiton?

Depois ele voltou de suas viagens. Antes disso, ele era um Hobbit perfeitamente respeitável. Ele era incomum em alguns aspectos - ele era um solteiro, para começar, que o prólogo O Senhor dos Anéis nos diz que era incomum, e ele era um pouco mais instruído do que a maioria - mas mesmo assim respeitável. Certamente ninguém parecia vê-lo como particularmente notável - ou, pelo menos, ninguém exceto Gandalf, que era perspicaz e via sinais de que outros não o faziam.

Não há inconsistência. Gandalf viu até o filho Bilbo como interessante; seus vizinhos não viram nada particularmente digno de observação sobre ele até seu retorno de Erebor.