A resposta curta. . . eles não fizeram.
A resposta longa (que não inclui SFX além de "cabelo e maquiagem"). . . eles escolheram atores para se adequar aos personagens de Kirk (milho alimentado com o garoto de fazenda de Iowa), Spock (Alto, escuro e impassível) etc.
Então eles passam pelo cabelo e maquiagem, isso os torna superficialmente semelhantes aos atores que você conhece e ama.
Então a verdadeira mágica acontece. Os atores tocam suas partes e incorporam os personagens.
Por exemplo, o ator Karl Urban 
Não se parece muito com o ator DeForest Kelley - 
Mas o retrato Urbans do Doutor Leonard "Bones" McCoy é incrivelmente convincente e, possivelmente, o melhor personagem "novo para o velho" no filme.
Esteja ciente de que você estava esperando ver esses personagens, então sua imaginação ajudou a completar a ilusão de que os novos atores eram tão muito semelhantes aos antigos.
Também os filmes página da Wiki têm exemplos que mostram como os personagens foram interpretados de forma diferente pelos novos atores
Pine felt he had to show Kirk's "humor, arrogance and decisiveness," but not Shatner's speech pattern, which would have bordered on imitation
e
Like Pine, Urban said of taking on the role that "it is a case of not doing some sort of facsimile or carbon copy, but really taking the very essence of what DeForest Kelley has done and honoring that and bringing something new to the table"
Há muito mais nos filmes página da Wiki