A resposta curta é: a HYDRA é uma organização terrorista, enquanto a SHIELD é uma agência de aplicação da lei. Na prática, é um pouco mais complicado.
No MCU, HYDRA é uma organização secreta que foi originalmente formada como um culto que cultuava um Inumano muito poderoso, e quem tem como objetivo trazê-lo de volta do exílio para a Terra. (Esta é a HYDRA no programa de TV Agents of SHIELD - nenhuma desta história de fundo aparece nos filmes).
Durante a Segunda Guerra Mundial, um grupo de agentes alemães da HYDRA formou um grupo dissidente, o que a maioria das pessoas pensa quando falam sobre a HYDRA. Esta era basicamente uma divisão de pesquisa avançada, que aproveitava a tecnologia alienígena (como o Tesseract) para construir armas avançadas para o exército alemão. Eles se comportavam como se estivessem trabalhando para apoiar Hitler e seus objetivos, mas, na realidade, os líderes da HYDRA planejavam conquistar o mundo para si mesmos.
Uma vez que a Segunda Guerra Mundial terminou, com o lado da HYDRA perdendo, foi para o subterrâneo. Eles continuaram a trabalhar pela dominação do mundo e continuaram a estudar tecnologia extra-terrestre avançada, mas também começaram a usar mais técnicas de subterfúgios e espionagem. Uma delas foi a infiltração da SHIELD.
Ao mesmo tempo em que o ramo nazista da HYDRA estava se formando, os EUA estavam construindo seu próprio grupo de pesquisa avançada para combatê-lo. Esta foi a SSR - Strategic Science Reserve - e você vê esse grupo em ação no Captain America: The First Avenger . Depois que a guerra terminou, o governo dos EUA continuou a combater a HYDRA espelhando seu comportamento: três das grandes perucas da SSR (incluindo Howard Stark e Peggy Carter) formaram o SHIELD . Este era um grupo antiterrorista que, como a HYDRA, operava no subsolo. O velho SSR tornou-se parte da SHIELD, e uma das principais funções da SHIELD era recuperar e estudar tecnologia extraterrestre para mantê-lo fora da mão da HYDRA.
(Exatamente a quem a SHIELD respondeu é um pouco confusa; parece ser parte do governo dos EUA, mas também parece ser parte da ONU, e também parece ser dirigida por um sombrio Conselho de Segurança Mundial; a maioria provavelmente começou como uma agência do governo dos EUA e expandiu-se à medida que as ameaças da HYDRA se expandiam também.)
Ambos os grupos operaram de forma semelhante, mas por diferentes razões. A HYDRA permanece no subsolo para evitar ser detectada pela lei e para manter secretos seus planos de dominação do mundo. A SHIELD permanece no subsolo porque o tipo de perigo com que lidam provavelmente causaria pânico se eles se tornassem amplamente conhecidos.
Uma vez que a Invasão Chitauri aconteceu, e os Vingadores tornaram-se públicos, a existência da SHIELD tornou-se de conhecimento público. Logo depois, foi revelado que a HYDRA havia se infiltrado secretamente na SHIELD desde o início e estava executando amplamente as operações. Então, na prática, a linha entre os dois grupos é mais embaçada do que as pessoas pensam.
Nos filmes de MCU, ambas as organizações estão efetivamente mortas - Captain America: O Soldado Invernal mostra o fim da SHIELD e o suposto fim da HYDRA ao mesmo tempo; Os Vingadores: Age of Ultron mostra os Vingadores caçando os últimos remanescentes da HIDRA. No universo da TV, os dois grupos se reconstruíram após o passeio; A SHIELD acabou por caçar e eliminar o último dos principais agentes da HYDRA, depois voltou a público como parte da crise Inumana.