Primeiro, não acho que você tenha problemas com um post 4x4 e um gate de 4 '. O 4x4 deve ser rígido o suficiente, e se o embedimento é sólido, ele não deve se inclinar com o peso do portão.
Uma coisa que você pode fazer é certificar-se de que o portão esteja apoiado no lado da trava quando estiver fechado, de modo que o poste esteja apenas levando o peso do portão enquanto ele estiver aberto. Isso pode ser algo tão simples quanto um salto no trinco que prende o fundo do portão.
Se a cerca do seu vizinho for resistente - não tenho certeza se esse é o caso, há alguma podridão na parte inferior das tábuas - e o vizinho permitirá, você poderá passar pelos postes para que eles suportem o peso juntos.