O charme que Dobby faz em Câmara Secreta só causa muito trabalho a Harry porque é feito na presença de um trouxa (Mr & Mrs Mason, clientes em potencial do Sr. Dursley, que ele é divertido), o que é uma ofensa diferente do que praticar a magia menor de idade fora da escola.
Quando em uma casa sem outros trouxas não-mágicos, cabe aos pais da criança impor a lei da não-magia-fora-da-escola, porque, como você diz, o ministério não pode diga a quem na casa realizou o feitiço (embora se a criança é a única bruxa / feiticeira em uma casa trouxa de outra forma, é bastante óbvio; assim como Hermione se livrou de praticar feitiços antes do início de sua primeira mágica ano em A Pedra Filosofal é um quebra-cabeça!). Não me lembro da referência do cânon para isso, mas tenho certeza que é mencionado em um dos livros.
Para responder à pergunta específica, é bem possível que o ministério soubesse que Arthur Weasley estava visitando Harry (afinal de contas, Arthur trabalha para o ministério). A referência a isso é que ele usa seu contato do comitê de regulação da rede floo para conectar a casa trouxa (4, Privet Drive)