O que saiu foi o acabamento (uretano, poliuretano ou verniz), não a madeira.
Se deixado sozinho, ele absorverá sujeira, umidade e escurecerá.
Eu tentaria limpar o poliuretano e aplicá-lo com um q-tip. Seu acabamento parece com brilho, então eu tentaria esse nível de brilho. Você sempre pode entorpecê-lo um pouco com lã de aço fina.
Você deve tentar remover a mancha de borracha primeiro. Isso pode ser feito com um limpador, como os limpadores do tipo Simple Green ou Fantastik.