Eu acho que você pode estar falando sobre as lâmpadas de halogênio realmente pequenas e adequadas para atrito, que são um pouco longas e finas. Elas são simplesmente empurradas para dentro do soquete, em vez de torcer e são mantidas por atrito.
Eu tive que lidar com isso nos interiores de carros, e encontrei uma ótima maneira de colocá-los dentro e fora é com um pequeno pedaço de tubo ou mangueira que se encaixa confortavelmente sobre a lâmpada. Se você já possui a lâmpada de reposição, pode ver se há alguma mangueira adequada, caso contrário, leve-a à loja de ferragens ou automotiva e verifique se as mangueiras de vácuo ou combustível se encaixam.
Depois, pegue seu pedaço de tubo, empurre-o na luminária para que ela deslize sobre a lâmpada e puxe-a para fora. E faça o mesmo ao contrário para recuperá-lo. O mesmo conceito da outra resposta da ventosa, mas isso pode funcionar melhor para esse tipo específico de lâmpada.