P-tuning(Prompt-tuning)은 다운스트림 태스크에 대해 좋은 성능을 낼 수 있는 연속적인 프롬프트를 학습하기 위한 방법으로, 모델에 대한 입력이 주어졌을 때, 이를 일련의 토큰으로 구성된 프롬프트와 연결하여 조건부 언어 모델을 만든다.
예를 들어, "Paris is the [MASK] of France" 라는 프롬프트가 주어졌을 때, 모델은 "capital"이라는 단어를 생성할 수 있다.
P-tuning은 연속 프롬프트를 학습하여 일반적인 이산 프롬프트보다 더 나은 결과를 얻을 수 있는데, 이산 프롬프트 대신 각 프롬프트 토큰에 대해 훈련 가능한 연속 임베딩을 사용한다. 이를 통해 프롬프트가 더 유연해지며, 원래 언어 모델의 어휘를 넘어선 단어를 생성할 수 있다.
P-tuning은 훈련 데이터에 대한 정확한 프롬프트를 찾는 데 중점을 두지 않기 때문에, 적은 데이터에서도 작동할 수 있다. 이는 전이 학습의 장점 중 하나이다. 관련해서 "GPT Understands, Too" 논문에서 P-tuning을 활용하여 LAMA-TREx 데이터셋에서 높은 성능을 얻었다.
'Dev' 카테고리의 다른 글
BERT 언어모델 (0) | 2023.03.04 |
---|---|
GAN (0) | 2023.03.03 |
LSTM (0) | 2023.02.21 |
[colab] UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position 0: invalid start byte (0) | 2023.02.18 |
[ChatGPT] ChatGPT is at capacity right now (0) | 2023.02.16 |
댓글