Um truque que eu vi é usar marcadores de quadro branco para desenhar sobre a marca permanente, então limpe-o enquanto ainda está molhado. Isso ocorre porque os marcadores de quadro branco e os marcadores permanentes usam solventes similares.
Se isso falhar, você pode usar Xylene (o solvente nessas canetas) ou Goof Off, que é um removedor pesado. Não deve machucar a superfície da barra (ao contrário de esfregar), mas você deve testá-lo em uma superfície menos visível primeiro.