Depende inteiramente da receita e como ela será usada. Gordura pode funcionar como um meio para sabores e calor, para fornecer textura (especialmente no caso da emulsificação) e para o seu próprio sabor. Retirar cegamente de uma receita pode "funcionar", mas deixá-lo com algo bem diferente do que foi originalmente pretendido - se tudo bem com você é uma decisão pessoal.
Em vez de procurar eliminar gordura, procure maximizar o seu benefício. Descubra para que serve uma determinada receita e, em seguida, encontre um óleo que satisfaça esse propósito e adicione apenas o necessário.