분류 전체보기65 TCP/IP 프로토콜 컴퓨터와 네트워크 기기가 상호간에 통신하기 위해서는 서로 같은 방법으로 통신이 이루어져야 한다. 예를 들면 상대를 찾고, 통신을 시작하고, 통신과정에서 어떤 언어를 사용하며, 통신을 어떤식으로 종료할지와 같은 규칙이 필요한 것이다. 이렇게 서로 다른 하드웨어와 운영체제에서 서로 통신을 하기 위해서는 모든 요소에 규칙이 필요하며, 이를 프로토콜 이라고 부른다. 프로토콜에는 여러가지 종류가 있다. 케이블 규격 및 IP 주소 지정 방법, 상대를 찾고 그곳에 도달하는 순서, 웹을 표시하는 순서 등이다. 이렇게 인터넷과 관련된 프로토콜을 모아놓은 것을 TCP/IP 라고 부른다. TCP/IP 의 계층 TCP/IP 에서 중요한 개념 중 하나가 계층 (Layer) 으로 애플리케이션, 트랜스포트, 네트워크, 링.. 2023. 3. 28. CTRL CTRL(Conditional Transformer Language Model)은 Salesforce에서 개발한 언어 모델로, 특정 조건(Condition)에 따라 텍스트를 생성하는 데 특화된 모델이다. CTRL 모델은 기본적으로 Transformer 아키텍처를 사용한다. Transformer 아키텍처는 인코더-디코더 구조를 기반으로 하며, 입력 토큰을 임베딩한 후 여러 층의 트랜스포머 블록을 거쳐 출력 토큰을 생성한다. CTRL 모델은 Transformer 아키텍처를 확장하여, 조건(Condition)을 입력으로 받고, 해당 조건에 따라 텍스트를 생성할 수 있도록 하고 있다. CTRL 모델의 구체적인 구조는 다음과 같다. 1. 입력 임베딩 레이어 입력 토큰을 임베딩한 후, 조건 토큰과 함께 인코더-디코.. 2023. 3. 26. DeBERTa DeBERTa(Decoding-enhanced BERT with Disentangled Attention)는 2020년에 발표된 언어 모델로, BERT 모델의 구조와 기능을 개선하여 자연어 처리 작업에서 높은 성능을 보이고 있다. 구조 DeBERTa 모델은 Transformer 아키텍처를 기반으로 한다. 이전의 BERT 모델과 달리, DeBERTa 모델은 다양한 디코딩 방법을 사용하여, 언어 모델의 성능을 향상시킨다. DeBERTa 모델은 Disentangled Attention, Relative Positional Encoding, 그리고 Stochastic Depth를 사용하여 성능을 개선한다. Disentangled Attention은 어텐션 메커니즘을 개선하여, 입력 문장의 다양한 관계를 파악하고.. 2023. 3. 25. Electra Electra(Effective-Learning-based and Computationally-Efficient Language Representation Learning)는 2019년에 Google에서 발표한 언어 모델로, 기존의 언어 모델과는 다른 구조와 작동 원리를 가지고 있다. 구조 Electra 모델은 GAN(Generative Adversarial Network) 구조를 기반으로 한다. GAN은 생성자(Generator)와 판별자(Discriminator)로 구성되어 있으며, 생성자는 실제와 유사한 데이터를 생성하고, 판별자는 생성자가 생성한 데이터와 실제 데이터를 구분한다. Electra 모델은 이와 유사하게, 생성자와 판별자로 구성된다. 생성자는 입력 문장의 일부 단어를 마스킹하고, 해당 .. 2023. 3. 24. ALBERT ALBERT( A Lite BERT)는 구글에서 발표한 언어 모델로, BERT 모델의 파라미터 수를 대폭 줄이고 효율적인 학습을 가능하게 하는 기법을 사용한다. ALBERT은 더 작은 모델 크기와 더 높은 정확도를 동시에 달성하는 것을 목표로 하고 있다. ALBERT의 구조는 BERT 모델과 비슷하지만, 몇 가지 중요한 변경 사항이 있는데 아래와 같은 방법으로 파라미터 수를 줄이게 된다. 1. Parameter Sharing ALBERT에서는 입력 임베딩과 출력 임베딩의 차원 수를 줄이는 것이 첫 번째 단계이다. 이를 위해, ALBERT은 두 개의 임베딩 행렬을 공유하는데, 이는 BERT와 달리 입력과 출력의 차원이 다르기 때문이다. 이 방법으로 인해 ALBERT는 BERT보다 18배 더 작은 파라미터 .. 2023. 3. 19. XLM XLM(Extensible Language Model)은 Facebook AI Research(Facebook AI)에서 개발한 언어 모델이다. XLM은 다국어 학습 데이터를 이용하여 학습된 다국어 언어 모델로 Transformer 아키텍처에 기반하며, 다양한 언어의 텍스트를 이해하고 생성할 수 있다. XLM 모델은 BERT와 같은 pre-training 및 fine-tuning 접근 방식을 사용하지만, XLM 모델은 BERT와는 달리 다국어 pre-training과 fine-tuning을 모두 지원한다. 이를 통해 한 번의 학습으로 다양한 언어에 대한 일반화 성능을 높일 수 있다. XLM 모델은 입력 임베딩, Transformer 인코더 및 디코더 레이어, 그리고 출력 레이어로 구성된다. XLM 모델에.. 2023. 3. 17. 이전 1 ··· 4 5 6 7 8 9 10 11 다음
