chatGPT3 P-Tuning P-tuning(Prompt-tuning)은 다운스트림 태스크에 대해 좋은 성능을 낼 수 있는 연속적인 프롬프트를 학습하기 위한 방법으로, 모델에 대한 입력이 주어졌을 때, 이를 일련의 토큰으로 구성된 프롬프트와 연결하여 조건부 언어 모델을 만든다. 예를 들어, "Paris is the [MASK] of France" 라는 프롬프트가 주어졌을 때, 모델은 "capital"이라는 단어를 생성할 수 있다. P-tuning은 연속 프롬프트를 학습하여 일반적인 이산 프롬프트보다 더 나은 결과를 얻을 수 있는데, 이산 프롬프트 대신 각 프롬프트 토큰에 대해 훈련 가능한 연속 임베딩을 사용한다. 이를 통해 프롬프트가 더 유연해지며, 원래 언어 모델의 어휘를 넘어선 단어를 생성할 수 있다. P-tuning은 훈련 데.. 2023. 2. 22. [ChatGPT] ChatGPT is at capacity right now ChatGPT 에 접속하려고 할때 아래와 같이 "ChatGPT is at capacity right now" 메시지가 발생하는 경우가 있다. 최근 인기를 반영하듯 접속자가 많아서 발생하는 현상으로, 접속하기 위해서는 무조건 "새로고침"을 계속해서 눌러준다. 새로고침 하다보면 아래와 같이 로그인 화면을 만날 수 있다. 2023. 2. 16. ChatGPT 에 대한 단상 이번 주 일주일은 열일 제쳐두고 ChatGPT 를 만지작 거리며 시간을 보냈다. ChatGPT 에 대한 사람들의 관심은 대단해서, 단 5일만에 사용자 100만명이라는 역대 최단 기간 신기록을 갱신하며 세상을 놀라게 하고 있다. 직접 이것저것 테스트를 해보니 아이언맨의 자비스가 머지 않았다는 느낌이 들 정도로 놀라운 퍼포먼스를 만들어 내는 것도 사실이지만 한편으로는 아직 갈 길이 멀었다는, 아니 오히려 AI 의 한계가 명확해 보인다는 생각이 든다. 가끔 영재들이 나오는 프로그램을 보면 만 서너살의 어린 아이들이 무언가를 빠르게 외우고 답하는 모습을 보며 천재성을 보인다고 말하곤 하지만, 암기력과 사고력은 별개의 문제이다. ChatGPT 또한 인간의 기준으로 본다면 엄청나게 빠른 학습 속도를 보이지만 이것은.. 2023. 1. 16. 이전 1 다음
