O Canadá normalmente não se importa muito com o seu visto H-4, embora eles possam se importar se acharem que você terá problemas para voltar aos EUA quando sair do Canadá. Sua pergunta sugere que pode haver alguma confusão sobre se você tem um H-4 válido visto ou H-4 estado. Esta resposta pressupõe que seu visto H-4 expirou e que você tem o status H-4 válido até setembro de 2020, o que deve refletir seu I-94.
Se você for ao Canadá por dias 30 ou menos, poderá ser readmitido nos EUA sem um visto H-4 válido sob revalidação automática de visto. O governo dos EUA tem páginas descrevendo isso nos sites de ambos os Departamento de Estado e CBP. Existem algumas restrições, incluindo a possibilidade de você não ter um pedido de visto pendente.
Se sua viagem ao Canadá for superior a dias 30, você precisará de um novo visto em seu passaporte. Você deve conseguir isso enquanto estiver no Canadá. Não sei se os oficiais de fronteira canadenses vão gostar disso, mas até onde eu entendi, viajar para o Canadá com o objetivo de visitar um consulado dos EUA para obter um novo visto é bastante comum, portanto, presumivelmente, você deve ter um boa chance de ser admitido.
Como uma das condições da revalidação automática de visto é que você não tem um pedido de visto pendente, se você for ao Canadá e solicitar um novo visto H-4, não poderá retornar aos EUA até que seja concedido e colocado no seu passaporte.