Eu não acho que exista na forma que você descreve - matemática que é nova no sentido acadêmico é invariavelmente extremamente abstrata e complexa, o que é quase impossível escrever histórias sobre, exceto no estilo de Uma Mente Brilhante , ou seja, drama humano que envolve matemáticos, mas encobre a matemática real.
O único tipo de "ficção matemática" que eu já vi é exatamente o oposto: ficção científica que é baseada em matemática real, mas isso é invariavelmente uma matemática relativamente antiga que as pessoas tiveram algum tempo para enfrentar, mesmo que pode ainda parecer muito complexo e misterioso para os não-matemáticos.
O clássico nessa área é, obviamente, Flatland . Um exemplo mais recente seria o conto "tapetes de Wang", de Greg Egan, que mais tarde foi incorporado à nova Diáspora . - que incidentemente também apresenta uma comunidade de IAs que fizeram da matemática sua principal ocupação. Eles chamam o lugar virtual onde fazem isso as "Minas da Verdade".