É inteiramente possível que o proprietário não tenha conseguido distinguir suficientemente entre suas cópias dos livros e outras que possam ter estado na área - ele certamente teria problemas legais se Accio d outras posses de pessoas e tentou vendê-los!
Dito isso, não há indicação de que ele seja um aborto - enquanto ele nunca faz mágica na tela, nem a maioria das outras bruxas e bruxos que vemos.
Para mim, eu sempre tomei essa linha como era provável - uma brincadeira bem humorada que mostra que existe um mundo mágico maior, mas que nunca foi planejado para ser explorado de forma mais profunda.
O dono também poderia estar se divertindo às custas dos alunos - se ele fosse um bruxo capaz, ele certamente poderia ter usado qualquer número de feitiços para recuperar os livros, desde o feitiço levitando até o feitiço de invocação, até algo como Petrificus Totalis ou Stupify .