Como uma generalização excessivamente ampla, sim, pimentas menores tendem a ser mais picantes.
Para responder com mais detalhes, o calor nas pimentas vem de uma molécula chamada capsaicina. A concentração de capsaicina é o que determina como pimentas picantes são em relação umas às outras.
A propósito, também é assim que as especiarias podem ser medidas. A Scoville Scale é uma medida de quantas vezes você precisa diluir a capsaicina da pimenta antes que ela não seja mais detectável pelo paladar. Embora isso seja subjetivo, é um ponto decente para comparação entre diferentes variedades.
Pimentas maiores, como pimentões ou pimentos de banana, são baixas na Escala Scoville (0 e 500 Unidades de Calor Scoville, respectivamente), enquanto pimentos menores, como Serranos (até 25.000 SHU) e Habaneros (até 350.000 SHU) são geralmente muito mais quente. Assim, você tem uma tendência com pimentas menores sendo mais quentes.
NB: Unidades Scoville por pimenta listadas como 'até xx', pois pode haver grandes variações dependendo de características como a composição do solo e o clima. É por isso que você pode obter alguns Jalapenos que não são terrivelmente picantes, mas então obter outros que são (relativamente) muito quentes. Listagens SHU da Wikipedia.