Eu não tentaria usar principalmente qualquer adesivo para isso, seria melhor usar um nailer brad. Isso será mais fácil, mais rápido e mais strong (e mais barato, se você já tiver ou não contar o custo de comprar o nailer).
Marque os pinos e coloque um prego na ranhura (que será ocultada pela próxima peça).
Você realmente só precisa de adesivo para a linha superior. Eu colocaria na linha de baixo também, apenas para uma boa medida, mas a linha de baixo pode ser pregada ou até parafusada na parede na parte inferior, onde será coberta por rodapé.
Como não está realmente pesando muito, 'No More Nails' funcionaria, assim como qualquer silicone ou adesivo de construção.