O jogo está desequilibrado sem inspiração?

O DMG diz o seguinte (p. 241)

IGNORING INSPIRATION

Inspiration might not work for your campaign. Some DMs feel it adds a layer of metagame thinking, and others feel that heroism, roleplaying, and other parts of the game are their own rewards that don't need incentives like inspiration. If you choose to ignore inspiration, you're telling the players that your campaign is one where you let the dice fall where they may. It's a good option for gritty campaigns or ones where the DM focuses on playing an impartial role as a rules arbiter.

Além disso, como você já mencionou, o PHB vê o Inspiration como algo que pode ser usado. O DMG também usa essas palavras

Think of inspiration as a spice that you can use to enhance your campaign

Embora o Inspiration não seja descrito como uma regra opcional ou variante, é completamente válido para o seu DM ignorá-lo.

Quanto à questão de quanto mais difícil você faz o seu jogo, eu recomendo que você veja o Inspiration de uma perspectiva diferente:

A inspiração é uma recompensa . Algo que você ganha por arriscar ou fazer algo grande.

Então, para obter inspiração, espera-se que você faça alguma coisa. Você não o obtém gratuitamente. O seu Mestre pode encorajar o jogo arriscado com ele para equilibrar os riscos que você adquire para ganhar o Inspiration. Se ele não fizer isso, não corra riscos, então eles não precisam ser compensados pela inspiração.

Como Inspiração no p240-241 do DMG:

Awarding inspiration is an effective way to encourage roleplaying and risk-taking... think of inspiration as a spice that you can use to enhance your campaign. Some DMs forgo using inspiration, while others use it as a key part of the game.

Todo o texto relacionado à Inspiração nos livros de regras indica que é uma ferramenta a critério do Mestre para encorajar certos comportamentos e estilos de jogo, não um mecanismo para equilibrar o jogo.
O jogo não é desequilibrado sem inspiração.