Aparentemente não. Parece que as regras, quando você terminar de atacar com aquela shuriken, desapareceu e o sistema não se importa mais com isso. As regras não mencionam nunca pegar ou recuperar armas jogadas mundanas - armas mágicas retornam à sua mão depois que elas são lançadas, mas presumo que estamos apenas discutindo as shurikens mundanas do PHB aqui.
De outra perspectiva: as regras também não dizem que se acabam quando você as joga, então pode-se presumir que você as esteja recuperando mais tarde. É provável que as regras não tenham tentado especificar isso, porque caberia ao senso comum de cada grupo lidar com isso.
Muitos grupos não consideram que vale a pena rastrear flechas e simplesmente assumir que você tem bastante (se seu Mestre não lhe entregar apenas um Quiver Infinito no nível 5). Shurikens sendo quase tão barato, eles podem não valer a pena rastreamento, ou pode valer a pena reinar você simplesmente recuperar seus shurikens após o combate.