Sim. No que diz respeito à mistura, o petróleo é petróleo. Você não está alcançando temperaturas suficientemente altas para se preocupar com pontos de fumaça ou qualquer coisa, e você não está tentando usar uma substituição estranha (maçã ou algo assim).
Dito isso, já fiz isso antes, então posso dizer que isso pode afetar o sabor do bolo acabado - o óleo vegetal é necessário devido à sua neutralidade, mas o azeite (especialmente as coisas boas *) muitas vezes tem um sabor distinto e frutado. Dependendo do óleo (qualidade, quantidade) que você usa, esse sabor de azeite pode vir em seu bolo. Se isso é uma coisa ruim ou não é com você.
(* Eu e muitos outros consideramos um desperdício total usar um bom azeite de oliva extra virgem em um bolo. Eu não posso falar sobre quaisquer razões de saúde que você queira substituir, mas se fosse eu e eu não tem qualquer óleo vegetal na mão, eu ou iria para a loja agora ou esperaria para assar o bolo.)