Por RAW, você está correto. A intenção dessa passagem (quando incluída) é evitar ter que julgar o destino de todo e qualquer objeto potencialmente inflamável que uma criatura possa estar carregando ou usando quando a criatura for atingida por magia de fogo hostil.
Druidcraft e Prestidigitation permite especificamente a iluminação de objetos inflamáveis, e não inclui essa passagem. Se um personagem está deliberadamente tentando acender magicamente um objeto inflamável que está carregando, há pouca razão (além de rigidamente aderir ao RAW ou possivelmente diminuir a utilidade das citadas cantrips) para não permitir feitiços como Fire Bolt para ser usado também. Magias mais poderosas podem ser uma má idéia, é claro - lançar Bola de fogo em você mesmo para iluminar uma tocha pode ser um pouco demais.