As verificações de saída acontecem no lugar onde você cruza a fronteira externa Schengen - isto é, Frankfurt no seu caso.
No entanto, isso não significa que você estaria ultrapassando o limite de tempo, já que o tempo passado na França com um visto de residência ou visto de francês D não conta para o relógio Schengen . As normas de Schengen exigem que cada país reconheça os vistos de longa duração e as autorizações de residência de outros Estados membros para esse fim.
Nos cheques de fronteira em Frankfurt, basta apontar para o seu visto francês e tudo ficará bem. Se você quer ser completamente maluco, leve evidências de que realmente passou o tempo na França, como recibos de acomodação, folhas de pagamento ou até mesmo recibos de compras. (E, claro, segure o cartão de embarque do seu voo da França para Frankfurt).