Recusar-se a comer totalmente é realmente muito rude. Na verdade, pode ser considerado um insulto se você fosse o convidado principal.
No entanto, você sempre pode pedir um prato e uma colher, encher o prato e comer do jeito que você está acostumado. Isso salvará totalmente a situação e será compreendido positivamente, já que as pessoas sabem como os estrangeiros comem, mas não comer é algo que você deve evitar.
A propósito, pedir uma colher ou garfo é totalmente normal, mesmo que você não fosse estrangeiro.