O Pi 3b é um sistema muito capaz, um CPU quad de 1,2 GHz com 1 GB de RAM.
Deve ser mais do que capaz para o que você está planejando, mas com todas essas coisas dependerá exatamente do que você pretende fazer.
O Node-RED é basicamente um ambiente de programação, portanto não é possível dizer quanto recurso ele consumirá sem conhecer o programa (fluxo) que você irá executar. (Mas você pode dizer que nunca irá consumir mais de um núcleo, já que é um aplicativo NodeJS e, como tal, com encadeamento único)
Você terá que montar seu sistema e testá-lo para ver como ele se comporta.
A boa notícia é que você deve ser capaz de mover facilmente o broker MQTT e o proxy reverso para um pi separado simplesmente se (no caso improvável) a carga se tornar muito grande.