Eu dei uma rápida olhada no site do Museu Van Gogh, achei um link para o restaurante e diz
The café is open daily during museum opening hours and can only be accessed via the museum
A partir disso, eu li que você só pode visitar o restaurante como um ticket de visitante. Eu não abri o plano de planta pdf, você encontrará um link para ele nesta página , mas a resposta de @Zach Lipton indica que a localização dos restaurantes faz com que atravessar parte do museu seja necessário.
Como mencionado nos comentários à pergunta, você poderia usar o restaurante de um dos outros museus na praça, como o Museu Stedelijk ou o Museu Rijks (menos adequado), ambos abertos para o público que não tem ingressos , ou se o tempo estiver bom, sente-se na própria praça.
Existem também vários lugares semelhantes a pubs na praça onde você será bem-vindo com a criança, se for necessário escapar para uma chuva súbita. Ou sentar-se parte do tempo com um copo de ranja (a limonada local para crianças pequenas, gosto de laranja, misturado com água) e o que você gosta para si mesmo.