P-Tuning

P-tuning(Prompt-tuning)은 다운스트림 태스크에 대해 좋은 성능을 낼 수 있는 연속적인 프롬프트를 학습하기 위한 방법으로, 모델에 대한 입력이 주어졌을 때, 이를 일련의 토큰으로 구성된 프롬프트와 연결하여 조건부 언어 모델을 만든다.

 

예를 들어, "Paris is the [MASK] of France" 라는 프롬프트가 주어졌을 때, 모델은 "capital"이라는 단어를 생성할 수 있다.

 

P-tuning은 연속 프롬프트를 학습하여 일반적인 이산 프롬프트보다 더 나은 결과를 얻을 수 있는데, 이산 프롬프트 대신 각 프롬프트 토큰에 대해 훈련 가능한 연속 임베딩을 사용한다. 이를 통해 프롬프트가 더 유연해지며, 원래 언어 모델의 어휘를 넘어선 단어를 생성할 수 있다.

 

P-tuning은 훈련 데이터에 대한 정확한 프롬프트를 찾는 데 중점을 두지 않기 때문에, 적은 데이터에서도 작동할 수 있다. 이는 전이 학습의 장점 중 하나이다. 관련해서 "GPT Understands, Too" 논문에서 P-tuning을 활용하여 LAMA-TREx 데이터셋에서 높은 성능을 얻었다.

 

출처 : GPT Understands, Too