Sim, a Islândia está estreitamente associada à UE e todos os cidadãos da UE podem ir lá com o seu cartão de identificação (se o tiverem, é claro). Também faz parte da área de Schengen, o que significa que não há verificações de fronteira sistemáticas e é possível que você não tenha que mostrar sua identificação.
Finalmente, a Islândia também é membro da União Nórdica de Passaportes , o que significa que os cidadãos suecos já estavam isentos do exigência de passaporte, como mencionado em a página que você encontrou .
Dependendo da política da companhia aérea e do aeroporto, talvez você ainda tenha que mostrar uma identificação em algum momento, mas seu cartão de identidade nacional será suficiente.