Você não precisa voltar para a Índia, porque o visto não determina onde você deve começar sua jornada.
Você pode voar para o Japão, passar algum tempo lá, e do Japão voar para os EUA. Para a imigração, seria o mesmo que se você fosse da Índia (ou de qualquer outro lugar).
O visto garante a sua entrada no ponto de fronteira e não dita mais nada (ou menos).