Não é sobre produtos químicos do lado de fora da fruta; lavar bem a fruta deve cuidar disso. Se nós comemos a pele de alguma fruta dada basicamente se resume a se a) gosto bom e b) tem uma textura agradável. Por exemplo, algumas pessoas comem a pele do kiwi, apesar de ter uma textura peluda que muitas pessoas acham desagradável. Muitas pessoas não comem a casca da manga porque tem um gosto amargo e tem uma textura dura e fibrosa, mas se você não se importar com a textura e apreciar esse sabor, vá em frente, aproveite :)
Nota: Estou vendo fontes que dizem que, se você é particularmente sensível ao carvalho venenoso, não deve comer cascas de manga, pois elas contêm uma das substâncias químicas em carvalho venenoso, mas em quantidades muito menores, por isso pode causar uma reação alérgica. Você provavelmente também vai sair de tocar a pele de manga para descascá-lo, então tome isso como um sinal de alerta. Isso não se aplica ao OP, já que, se você tem comido toda a sua vida, obviamente você não é alérgico, mas pode se aplicar a outras pessoas pesquisando essa questão.