Aqueles com um cartão de residência "Membro da família de um cidadão da UE" não precisam de visto. Infelizmente, porque o seu marido é britânico, a sua residência no Reino Unido é normalmente uma questão para a legislação nacional do Reino Unido, não a lei da UE, o que significa que a sua autorização de residência não é * uma autorização de residência "Familiar de um cidadão da UE".
Então, sim, você provavelmente precisará de um visto. No entanto, enquanto viaja com o seu cônjuge cidadão da UE, beneficia de regras especiais de visto. O visto deve ser emitido de forma rápida e gratuita. Em princípio, se você puder demonstrar que é um membro da família de um cidadão da UE, pode até obter o Visto de forma arrivista, embora isso geralmente não seja recomendado.
É claro que tudo isso está sujeito a mudanças no futuro próximo graças ao brexit.
* IIRC existem exceções envolvendo pessoas que se mudaram para o Reino Unido depois de viverem em outros países da UE com seus cônjuges de fora da UE.