A menos que você seja consideravelmente mais do que "em um pequeno ângulo", é improvável que você tenha um problema. Se você está um pouco mais fora, o parafuso ainda deve segurar o varal, apenas a cabeça do parafuso não vai ficar tão bem na superfície.
Tome seu tempo, deixe a broca fazer o trabalho e não o force.