Dev33 BERT 언어모델 BERT (Bidirectional Encoder Representations from Transformers)는 Transformer 아키텍처를 기반으로 한 양방향 언어 모델이다. 이 모델은 대규모의 텍스트 데이터로 사전 학습(pre-training)된 후, 다양한 자연어 처리 작업에서 미세 조정(fine-tuning)을 통해 사용된다. BERT 모델의 구조 BERT 모델은 Transformer의 인코더(Encoder)를 여러 개 쌓아 올린 구조로, 각 인코더는 다음과 같은 두 개의 서브 레이어(sub-layer)로 이루어져 있다. Self-Attention Layer Feed-Forward Layer Self-Attention Layer는 입력 문장의 각 단어에 대해 문맥을 파악하고, 문장 내에서 다.. 2023. 3. 4. GAN GAN은 Generative Adversarial Networks의 약자로, 실제 데이터와 비슷한 새로운 데이터를 생성하기 위한 딥러닝 아키텍처이다. 이 모델은 생성자와 판별자라는 두 개의 네트워크를 사용한다. GAN 모델의 핵심 개념은 생성자와 판별자가 서로 경쟁하는 것이다. 생성자는 실제 데이터와 유사한 데이터를 생성하기 위해 학습하며, 판별자는 이러한 데이터가 실제인지 생성된 것인지를 판단하도록 학습한다. 생성자는 판별자를 속일 수 있도록 더 좋은 결과를 만들려고 하며, 판별자는 생성자가 생성한 이미지를 더 이상 구분하지 못하도록 더 강력한 분류 모델이 되려고 노력한다. 이 두 네트워크가 서로 경쟁하면서 점차 발전하고, 결국 생성자는 실제 데이터와 거의 구분할 수 없는 가짜 데이터를 생성할 수 있다.. 2023. 3. 3. P-Tuning P-tuning(Prompt-tuning)은 다운스트림 태스크에 대해 좋은 성능을 낼 수 있는 연속적인 프롬프트를 학습하기 위한 방법으로, 모델에 대한 입력이 주어졌을 때, 이를 일련의 토큰으로 구성된 프롬프트와 연결하여 조건부 언어 모델을 만든다. 예를 들어, "Paris is the [MASK] of France" 라는 프롬프트가 주어졌을 때, 모델은 "capital"이라는 단어를 생성할 수 있다. P-tuning은 연속 프롬프트를 학습하여 일반적인 이산 프롬프트보다 더 나은 결과를 얻을 수 있는데, 이산 프롬프트 대신 각 프롬프트 토큰에 대해 훈련 가능한 연속 임베딩을 사용한다. 이를 통해 프롬프트가 더 유연해지며, 원래 언어 모델의 어휘를 넘어선 단어를 생성할 수 있다. P-tuning은 훈련 데.. 2023. 2. 22. LSTM LSTM( Long Short-Term Memory )은 순환 신경망(recurrent neural network)의 일종으로, 시계열 데이터를 처리하는데 특화된 네트워크이다. 시계열 데이터는 각각의 입력이 시간에 따라 변화하는 데이터를 의미한다. 예를 들어, 주식 가격, 기온, 음성 데이터 등이 시계열 데이터에 속한다. LSTM은 이러한 데이터의 장기적인 의존성(long-term dependency)을 학습할 수 있도록 고안되었다. 기존의 순환 신경망에서는 일정 시간 이상의 의존성을 갖는 데이터를 처리하는 것이 어려운 경우가 있었다. 이에 비해 LSTM은 cell state라는 기억 상태를 사용하여 데이터의 장기적인 의존성을 기억할 수 있으며 이를 통해, 긴 시퀀스 데이터를 처리하는데 우수한 성능을 보.. 2023. 2. 21. [colab] UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position 0: invalid start byte colab 에서 csv 파일을 읽으려고 아래와 같이 시도하면 오류가 발생한다. 해당 오류가 발생하는 이유는 csv 파일을 utf-8 형태로 바로 읽어올 수 없기 때문이다. 해당 오류의 해결책은 3가지 인데, 첫번째는 코드를 읽어올 때 'r' 대신 'rb' 를 적용해 바이너리 형태로 불러오는 것이다. 두 번째는 csv_reader 함수를 사용해서 csv 파일을 읽어오는 것이다. 세번째는 open 시점에 인코딩을 설정해주고 에러는 ignore 처리 하는 것이다. 2023. 2. 18. [ChatGPT] ChatGPT is at capacity right now ChatGPT 에 접속하려고 할때 아래와 같이 "ChatGPT is at capacity right now" 메시지가 발생하는 경우가 있다. 최근 인기를 반영하듯 접속자가 많아서 발생하는 현상으로, 접속하기 위해서는 무조건 "새로고침"을 계속해서 눌러준다. 새로고침 하다보면 아래와 같이 로그인 화면을 만날 수 있다. 2023. 2. 16. 이전 1 2 3 4 5 6 다음
