CTRL

CTRL(Conditional Transformer Language Model)은 Salesforce에서 개발한 언어 모델로, 특정 조건(Condition)에 따라 텍스트를 생성하는 데 특화된 모델이다.

출처 : https://paperswithcode.com/paper/ctrl-a-conditional-transformer-language-model-1

CTRL 모델은 기본적으로 Transformer 아키텍처를 사용한다. Transformer 아키텍처는 인코더-디코더 구조를 기반으로 하며, 입력 토큰을 임베딩한 후 여러 층의 트랜스포머 블록을 거쳐 출력 토큰을 생성한다.

CTRL 모델은 Transformer 아키텍처를 확장하여, 조건(Condition)을 입력으로 받고, 해당 조건에 따라 텍스트를 생성할 수 있도록 하고 있다.

CTRL 모델의 구체적인 구조는 다음과 같다.

1. 입력 임베딩 레이어
입력 토큰을 임베딩한 후, 조건 토큰과 함께 인코더-디코더 구조에 입력된다. 이 임베딩 레이어는 입력 토큰을 다차원 벡터로 변환하는 역할을 한다.

2. 조건 처리 레이어
CTRL 모델은 입력으로 주어진 조건을 처리하기 위해, 조건 처리 레이어를 사용한다. 이 레이어는 주어진 조건(예: 언어, 토픽 등)을 임베딩한 후, 인코더-디코더 구조에 입력한다. 이를 통해, 모델은 주어진 조건에 맞는 텍스트를 생성할 수 있다.

3. 인코더 블록
인코더 블록은 입력 문장의 각 토큰에 대한 정보를 처리한다. 이 블록은 여러 개의 서브 레이어(멀티-헤드 어텐션, 피드 포워드 네트워크, 레이어 정규화 등)를 포함한다. 이 서브 레이어는 입력 문장의 정보를 처리하고, 출력을 생성한다.

4. 디코더 블록
디코더 블록은 인코더 블록에서 생성된 출력을 이용하여, 텍스트를 생성한다. 이 블록은 인코더 블록과 유사한 구조를 가지며, 여러 개의 서브 레이어를 포함한다. 이 서브 레이어는 디코딩 과정에서 사용된다.

5. 출력 레이어
디코더 블록에서 생성된 출력은 출력 레이어에 입력된다. 출력 레이어는 디코딩된 출력을 다차원 벡터로 변환하고, 텍스트를 생성한다.

CTRL 모델 구조를 구현한 샘플 코드는 아래와 같다.

import torch
import torch.nn as nn

class CTRLModel(nn.Module):
    def __init__(self, num_tokens, num_layers=12, num_heads=12, embedding_dim=768, dropout=0.1):
        super(CTRLModel, self).__init__()

        self.num_tokens = num_tokens
        self.num_layers = num_layers
        self.num_heads = num_heads
        self.embedding_dim = embedding_dim

        # 입력 임베딩 레이어 정의
        self.embedding_layer = nn.Embedding(num_tokens, embedding_dim)

        # 조건 처리 레이어 정의
        self.condition_layer = nn.Linear(num_tokens, embedding_dim)

        # Transformer 레이어 정의
        self.transformer_layer = nn.TransformerEncoderLayer(embedding_dim, num_heads, dim_feedforward=4*embedding_dim)
        self.transformer_encoder = nn.TransformerEncoder(self.transformer_layer, num_layers)

        # 출력 레이어 정의
        self.output_layer = nn.Linear(embedding_dim, num_tokens)

        # Layer Normalization 레이어 정의
        self.layer_norm_layer = nn.LayerNorm(embedding_dim)

        # Dropout 정의
        self.dropout = nn.Dropout(dropout)

    def forward(self, input_ids, condition_ids):
        # 입력 토큰에 대한 임베딩
        embedded_input = self.embedding_layer(input_ids)

        # 입력 조건에 대한 임베딩
        embedded_condition = self.condition_layer(condition_ids)

        # 입력 임베딩과 조건 처리 레이어 출력 결합
        embedded_input_condition = embedded_input + embedded_condition.unsqueeze(1)

        # Transformer 레이어 적용
        transformer_output = self.transformer_encoder(embedded_input_condition)

        # Layer Normalization 적용
        normalized_output = self.layer_norm_layer(transformer_output)

        # Dropout 적용
        output_with_dropout = self.dropout(normalized_output)

        # 출력 레이어 적용
        output = self.output_layer(output_with_dropout)

        return output