yenynb 님의 블로그

[논문리뷰] ViT: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

yenynb — Mon, 1 Jun 2026 17:19:01 +0900

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby

https://arxiv.org/pdf/2010.11929

1. Introduction

1-1. ViT모델이 나타나게 된 배경

당시에 NLP분야에서는 Transformer가 우세하고, Vision분야에서는 CNN가 우세한 상황이였다.
(=Transformer가 Vision분야까지 우세하지는 않았다.)

⇒ ViT모델이 Transformer를 Vision분야에서 활용하기 위해 나타나게 되었다.

1-2. ViT 모델 핵심 아이디어

ViT모델은 표준 Transformer를 이미지에 직접 적용하려고 한 모델이다.

이 모델은 다음과 같은 특징을 가지고 있다.

이미지를 작은 patch로 분할
각 patch를 linear embedding
patch sequence를 Transformer 입력으로 사용

→ 이미지를 patch token으로 변환하는 아이디어를 적용

“Image patches are treated the same way as tokens in NLP.” -논문

1-3. ViT의 Insight

처음의 ViT모델은 성능이 낮았는데 그 이유는 ransformer에는 CNN이 가진 inductive bias가 부족하기 때문이다.

* CNN은 이미지 특화 bias를 이미 가지고 있었고, Transformer는 데이터를 직접 학습해야했다.

→ 즉, 작은 데이터 CNN 우세하고, 반대로 큰 데이터는 Transformer 가능성 증가

하지만, 매우 큰 데이터셋으로 학습하자 Transformer의 성능이 나아졌다.

“Large scale training trumps inductive bias.” - 논문

이를 통해 충분히 큰 데이터셋으로 학습하면 inductive bias 부족 문제를 극복할 수 있으며 Transformer만으로도 가능하다는 것을 확인할 수 있는 Insight였다.

2. Related Work

기존의 Vision Attention 연구의 한계는 이미지에 Self-Attention을 그대로 적용하면 모든 픽셀끼리 attention 계산 필요하고, 계산량이 quadratic하게 증가한다는 것이다.

→ 그래서 기존 연구들은 다양한 근사 방식을 사용했다.

기존에는 CNN + Attention 결합 연구를 진행하였다. CNN feature map에 attention을 추가하고, CNN 출력 후 Transformer 사용하는 하이브리드 구조였다.

하지만 ViT에는 CNN 결합 없이 Transformer만을 활용했다는 것이 특징이다.

그러면 Image GPT와도 비교하자면 다음과 같다.

Image GPT	ViT
Image GPT	ViT	Pixel 단위	Patch 단위
Generative 학습	Classification 학습
비효율적	상대적으로 효율적

3. Method

ViT의 모델 구조를 알아보면 다음 이미지와 같다.

[전체 구조]

Image → Patch Split → Flatten → Linear Projection → Patch Embedding + Position Embedding + [CLS] Token
→ Transformer Encoder × L → MLP Head →Classification

3-1. Vision Transformer (ViT)

더 자세히 살펴보자면,

Transformer는 원래 1차원 Token Sequence를 입력으로 받지만 이미지는 2차원 구조이므로 그대로 입력할 수 없다는 문제가 있다.

따라서 ViT는 이미지를 여러 개의 고정 크기 Patch로 나눈 후, 이를 일렬의 Sequence로 변환하여 Transformer 입력으로 사용한다.

1. Patch Embedding

입력 이미지의 크기를 다음과 같이 정의한다.

$$x \in \mathbb{R}^{H \times W \times C}$$

* H : 이미지 높이(Height) / W : 이미지 너비(Width) / C : 채널(Channel)

예를 들어 224×224 RGB 이미지는 224x224x3으로 표현 된다.

Patch 분할

ViT는 이미지를 P×P 크기의 Patch로 나눈다.

그래서 P=16일 때, 224×224 이미지는 224/16=14. 즉 14x14=164로 164개의 Patch로 나누게 된다.

Flatten

각 Patch는 16x16x3 의 크기를 가진다.

이를 1차원 벡터로 펼치면 16x16x3= 768 차원을 벡터가 된다.

Linear Projection

Transformer는 고정된 차원의 입력을 요구하기 때문에 Flatten된 Patch를 학습 가능한 선형 변환(Linear Projection)을 통해 D 차원으로 변환한다.

논문에서는 이를 Patch Embedding이라고 부른다.

2. CLS Token과 Position Embedding

Transformer는 입력 순서를 알지 못하기 때문에 각 Patch의 위치 정보를 전달하기 위해 Position Embedding을 추가한다.

또한 BERT의 [CLS] Token과 동일한 역할을 하는 Classification Token을 시퀀스 맨 앞에 추가한다.

Transformer의 최종 입력은 다음과 같이 구성된다.

$$z_0 =[x_{class}; x_p^1E; x_p^2E; \cdots; x_p^N E] + E_{pos} $$

즉,

[CLS]
Patch1
Patch2
...
PatchN

형태의 시퀀스가 Transformer의 입력이 된다.

3.Transformer Encoder

ViT는 기존 Transformer Encoder 구조를 그대로 사용한다.

Encoder는 다음 두 개의 블록으로 구성된다.

Multi-Head Self Attention (MSA)
MLP

각 블록에는 Layer Normalization과 Residual Connection이 적용된다.

Multi-Head Self Attention

$$ z'_l = MSA(LN(z_{l-1})) + z_{l-1} $$

과정은 LayerNorm → Multi-Head Attention → Residual Connection 순으로 진행된다.

MLP Block

$$ z_l = MLP(LN(z'_l)) + z'_l $$

과정은 LayerNorm → MLP → Residual Connection 순으로 진행된다.

MLP 구조는 Fully Connected Layer와 GELU 활성화 함수를 사용한다.

4. 최종 출력

Transformer를 통과한 후 CLS Token의 출력값을 이미지 전체 표현으로 사용한다.

$$y = LN(z_L^0)$$

$$z_L^0$$

위의 식은 마지막 Encoder Layer의 CLS Token 출력이다.

최종적으로 이 벡터를 MLP Head에 입력하여 이미지 클래스를 예측한다.

5. ViT의 Inductive Bias

ViT는 이러한 이미지 특화 구조가 거의 존재하지 않는다.

Self-Attention은 모든 Patch를 동일하게 바라보며, 이미지 구조에 대한 정보는 데이터로부터 직접 학습해야 한다.

→ 이 때문에 ViT는 CNN보다 더 많은 학습 데이터를 필요로 한다.

6. Hybrid Architecture

논문에서는 CNN과 Transformer를 결합한 Hybrid 구조도 실험하였다.

Image
 ↓
CNN
 ↓
Feature Map
 ↓
Transformer

기본 ViT가 원본 이미지를 Patch로 분할하는 것과 달리, Hybrid 모델은 CNN이 추출한 Feature Map을 Transformer의 입력으로 사용한다.

핵심 정리

ViT는 이미지를 Patch 단위로 분할하여 Transformer 입력으로 사용
각 Patch는 Flatten 후 Linear Projection을 통해 Patch Embedding으로 변환된다.
CLS Token과 Position Embedding을 추가하여 Transformer Encoder에 입력한다.
최종 CLS Token 출력을 이용해 이미지를 분류한다.
CNN과 달리 이미지 특화 Inductive Bias가 적기 때문에 대규모 데이터셋에서 더욱 강력한 성능을 보인다.
"이미지를 Patch Token Sequence로 변환한다"는 것이 ViT의 핵심 아이디어이다.

3.2 Fine-Tuning and Higher Resolution

ViT는 일반적으로 대규모 데이터셋에서 사전학습한 후, 특정 다운스트림 태스크에 대해 Fine-Tuning을 수행한다.

Fine-Tuning 시에는 기존 분류 헤드(Classification Head)를 제거하고, 새로운 분류 레이어를 추가하여 학습한다.

이때 ViT가 사전학습보다 더 높은 해상도에서 Fine-Tuning될 때 성능이 향상된다는 것이다.

예를 들어,

Pre-training : 224×224
Fine-tuning : 384×384

과 같이 사용할 수 있다.

이때 Patch 크기는 그대로 유지되므로 입력되는 Patch 개수가 증가하게 된다.

Transformer는 더 긴 시퀀스를 처리할 수 있지만, 기존 Position Embedding은 새로운 해상도와 맞지 않게 된다.

이를 해결하기 위해 ViT는 기존 Position Embedding을 2차원 보간(2D Interpolation)하여 새로운 해상도에 맞게 변환한다.

→ 논문에서는 이러한 Position Embedding 보간과 Patch 분할만이 ViT에 명시적으로 주입된 이미지의 2차원 구조 정보(Inductive Bias)라고 설명한다.

4. Experiments

실험 목적

논문에서는 다음 세 가지를 검증을 목표로 하였다.

ViT가 CNN보다 좋은 표현 학습 능력을 가지는가?
ViT는 얼마나 많은 데이터가 필요한가?
동일한 연산량에서 ViT가 더 효율적인가?

이를 위해 ResNet, Hybrid 모델(CNN+Transformer), ViT를 비교하였다.

4.1 Experimental Setup

사용 데이터셋

사전학습 데이터셋

Dataset규모

ImageNet	130만 장
ImageNet-21k	1400만 장
JFT-300M	3억 장

4.2 State-of-the-Art 비교

논문은 당시 최고 성능 CNN 모델들과 ViT를 비교하였다.

비교 대상은 다음과 같다.

BiT (ResNet 기반)
Noisy Student (EfficientNet 기반)

주요 결과

DatasetViT-H/14

ImageNet	88.55%
ImageNet-ReaL	90.72%
CIFAR-100	94.55%
VTAB	77.63%

핵심 결과

ViT-L/16은 동일한 JFT-300M 데이터셋으로 학습한 BiT보다 모든 데이터셋에서 더 높은 성능을 달성하였다.

또한 ViT-H/14는 더욱 높은 성능을 기록하며 당시 SOTA 수준에 도달하였다.

특히 중요한 점은 CNN보다 훨씬 적은 연산량으로 더 좋은 성능을 달성했다는 것이다.

ModelTPUv3 Core Days

ViT-H/14	2.5K
BiT-L	9.9K
Noisy Student	12.3K

즉, 더 적은 연산량을 가지면서도 더 높은 성능을 달성하였다.

4.3 Pre-training Data Requirements

ViT 논문의 핵심 실험 중 하나이다.

"ViT는 정말 많은 데이터가 필요한가?"를 검증하기 위해 데이터 규모를 늘려가며 실험을 진행하였다.

결과

작은 데이터셋에서는 CNN이 우세했다.

ImageNet
↓
ResNet > ViT

하지만 데이터 규모가 커질수록 다른 결과가 나왔다.

ImageNet-21k
↓
ViT ≈ ResNet

JFT-300M
↓
ViT > ResNet

논문의 핵심 결론

CNN은 강한 Inductive Bias 덕분에 적은 데이터에서도 잘 학습되는 반면 ViT는 데이터가 적을 경우 쉽게 Overfitting된다.

하지만 충분히 큰 데이터셋이 주어지면 CNN보다 더 좋은 성능을 달성한다.

→ 즉, "Large Scale Training Trumps Inductive Bias"라는 논문의 핵심 주장을 실험적으로 입증

4.4 Scaling Study

이 실험에서는 연산량 대비 성능을 비교하였다.

결과 1

ViT는 동일한 성능을 달성하기 위해 CNN보다 약 2~4배 적은 연산량을 사용하였다.

즉, ViT=더 높은 연산 효율을 보여주었다.

결과 2

작은 모델에서는 Hybrid(CNN+ViT)가 약간 우수했다.

Hybrid > ViT

하지만 모델 규모가 커질수록 차이가 사라졌다.

결과 3

ViT 성능은 아직 포화(Saturation)되지 않았다.

즉, 더 큰 모델과 더 많은 데이터를 사용하면 성능이 계속 향상될 가능성이 있음을 보여주었다.

4.5 ViT 내부 분석

논문에서는 ViT가 실제로 무엇을 학습하는지도 분석하였다.

Position Embedding 분석

Position Embedding을 시각화한 결과, 가까운 Patch끼리는 유사한 Position Embedding을 가지는 경향이 나타났다.

→ 모델이 스스로 이미지의 2차원 구조를 학습하고 있음을 확인하였다.

Attention 분석

Attention Distance를 측정한 결과, 일부 Head는 초반 Layer부터 이미지 전체를 바라보고 있었다.

이는 CNN과 달리 ViT가 초반부터 전역(Global) 정보를 활용한다는 것을 의미한다.

반면 일부 Head는 Local 정보를 집중적으로 학습하는 모습도 관찰되었다.

결론

ViT는 CNN 없이도 전역 정보와 지역 정보를 모두 학습할 수 있었다.

4.6 Self-Supervision

논문에서는 간단한 Self-Supervised Learning 실험도 수행하였다.

BERT의 Masked Language Modeling과 유사하게 Masked Patch Prediction을 사용하였다.

결과

ViT-B/16 기준

학습 방식Accuracy

Scratch	약 78%
Self-Supervised	79.9%
Supervised Pre-training	약 84%

결론

Self-Supervised Learning은 성능 향상을 보여주었지만,당시에는 여전히 대규모 Supervised Pre-training이 더 우수했다.

다만 저자들은 향후 Contrastive Learning이나 Self-Supervised Learning이 ViT의 중요한 연구 방향이 될 것이라고 전망하였다.

[논문 리뷰] Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks

yenynb — Sun, 10 May 2026 22:45:15 +0900

Faster R-CNN: Towards Real-Time Object Detection

with Region Proposal Networks

Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun

1. INTRODUCTION

1.1 기존 R-CNN 계열의 문제점

R-CNN

기존의 R-CNN은 Selective Search를 통해 약 2,000개의 후보 영역(Region Proposal)을 생성해야 했고, 각 후보 영역마다 CNN을 개별 수행하였고 이 때문에 매우 느린 속도를 가진다는 한계를 가지고 있었다.

Fast R-CNN

이러한 문제를 해결하기 위해 Fast R-CNN이 나오게 되었다.

Fast R-CNN은 이미지 전체에 대해 CNN feature map을 한 번만 추출하고, ROI Pooling을 통해 속도 개선할 수 있게 되었다.

그러나 여전히 Selective Search 사용하고 있고, Region Proposal 생성 단계가 병목 현상 발생한다는 한계가 존재했다.

→ 즉, Fast R-CNN 이후에는 CNN 연산보다 Region Proposal 생성 속도가 더 느려지는 문제가 발생하였다.

1.2 Faster R-CNN Keypoint

Faster R-CNN의 핵심 아이디어는 다음과 같다.

CNN feature map을 공유 (RPN과 Detector가 같은 feature map 공유)
sliding window 방식으로 후보 영역 생성 (RPN)
객체 존재 여부(objectness)와 bounding box를 동시에 예측
end-to-end 학습 가능

2. Related Work

R-CNN은 Region Proposal + CNN + SVM 구조로 정확도는 높지만 매우 느린다는 문제가 있다.
SPPnet은 CNN feature 공유하고 Spatial Pyramid Pooling 사용하게 되면서 어느정도 속도 개선이 되었다.
Fast R-CNN은 ROI Pooling 사용하고, end-to-end 학습 가능하게 되었지만 Selective Search는 외부 알고리즘을 사용해야 했다.

→ 하지만 “Region Proposal 단계가 여전히 문제이다. 그래서 Faster R-CNN은 이를 해결하기 위해 Proposal 생성까지 CNN 안에서 수행할 수 있도록 하였다.

3. Faster R-CNN Architecture

Fast R-CNN은 크게 두 단계로 이루어져 있다.

RPN이 Region Proposal 생성
Fast R-CNN detector가 최종 분류 수행

→ 이 두 단계는 convolution layer를 공유

3.1 Region Proposal Network (RPN)

RPN은 feature map 위를 sliding window 방식으로 이동하면서 객체 후보 영역을 생성한다.

그 과정은 입력 이미지 → CNN → Feature Map → RPN → Proposal 생성으로 진행하게 된다.

RPN은 각 위치마다 객체 존재 여부와 bounding box 좌표를 예측하게 된다.

Sliding Window

본 논문에서는 3×3 convolution window를 사용하였다. 각 위치마다 두 개의 branch가 존재한다.

Classification Layer

객체 존재 여부를 예측

Regression Layer

bounding box 좌표 보정

3.2 Anchor Box

논문은 다양한 크기와 비율의 bounding box를 처리하기 위해 Anchor를 도입하였다.

Anchor를 설정할 때에는

각 위치마다 3개의 scale과 3개의 aspect ratio를 사용한다.

즉, k = 3x3 = 9로 9개의 anchor를 생성하게 된다.

각 anchor는 postive/negative로 분류되어 학습된다.

Postive Anchor의 조건은 GT box와 IoU가 가장 높은 anchor이거나 IoU > 0.7인 경우이다.

Negative Anchor의 조건은 IoU < 0.3인 경우이다.

3.3 Multi-task Loss

RPN은 classification loss와 regression loss를 동시에 학습하는데, 논문의 loss function은 다음과 같다.

$$ L(\{p_i\}, \{t_i\}) = \frac{1}{N_{cls}} \sum_i L_{cls}(p_i, p_i^*) + \lambda \frac{1}{N_{reg}} \sum_i p_i^* L_{reg}(t_i, t_i^*) $$

$L_{cls}$ : object classification loss

$p_i$ : 예측 확률

$t_i$ : 예측 bounding box 좌표

→ 위의 식을 통해서 객체 여부를 판단하고, 위치 보정을 동시에 최적화한다.

4. Sharing Features with Fast R-CNN

Faster R-CNN의 핵심은 RPN과 Detector가 feature map을 공유한다는 것이다.

기존의 방식은 Proposal 생성용 feature와 Detection용 feature를 따로 계산하는 방식이다.

하지만 Faster R-CNN은 하나의 CNN backbone을 공유한다.

따라서 계산량은 감소하게 되고, 속도는 증가하며 메모리 효율이 향상되는 효과를 얻을 수 있게 되었다.

→ 본 논문에서는 "RPN이 detector에게 “어디를 봐야 하는지” 알려주는 역할을 한다."라고 언급하였다.

5. Traning Strategy

Faster R-CNN은 4-step alternating traning을 제안하였다.

Step 1 : RPN 학습

Step 2 : Fast R-CNN detector 학습

Step 3 : RPN과 detector의 convolution layer 공유

Step 4 : 두 네트워크 fine-tuning

→ 이를 통해 proposal 생성하고 detection을 하나의 unified network로 결합

6. Experiments

PASCAL VOC 2007에서 Faster R-CNN의 성능을 평가했을 때 SS(selecive search), EB(edge box)기법에 비해 성능이 좋다는 결과를 확인할 수 있었다.

RPN을 VGG-16으로 훈련해 성능을 측정했을 때 mAP가 올랐으며 데이터를 하나씩 추가할수록 mAP가 올랐다.

one stage보다 two stage(Faster R-CNN)의 mAP가 더 좋은 성능을 보였다.

COCO 데이터셋으로 훈련하였을 때도 Faster R-CNN이 Fast R-CNN보다 더 높은 성능을 보였다.

6. Conclusion

본 논문에서는 빠르고 정확한 영역 추정을 하기 위해 RPN을 제안했다. RPN과 detection이 Feature를 공유함으로써 정확도와 속도 측면에서 훨씬 개선되었으며, 효율도 챙길 수 있었다.

[논문 리뷰] SPPnet - Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual Recognition

yenynb — Wed, 6 May 2026 23:35:55 +0900

논문 리뷰

Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual Recognition

Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun

https://arxiv.org/pdf/1406.4729

1. Introduction

SPPnet 등장배경

기존 CNN 모델은 FC layer가 고정 길이 벡터를 요구 하기 때문에 고정 크기 입력을 전제로 설계가 되었다.

→ 이를 위해 이미지에 crop, wrap을 적용한다.

하지만 crop을 적용하게 되면 이미지를 자른 것이기에 전체 이미지 정보가 손실되는 문제가 발생하고,

wrap을 적용하게 되면 비율 왜곡 발생하면서 이미지에 변형이 일어나게 된다.

이러한 문제를 해결하기 위해 SPPnet은 Spatial Pyramid Pooling를 활용해 입력 크기가 다르더라도 항상 동일한 길이의 feature vector를 생성하도록 하였다.

Key Idea

convolution layer는 입력 크기에 자유롭다
문제는 FC layer 이전 feature map 크기가 가변적이라는 점
따라서 FC 직전에 SPP layer를 삽입해 고정 길이 representation 생성

2. Deep Networks with Spatial Pyramid Pooling

기존 CNN은 가변 크기의 feature map을 fully connected layer에 입력할 수 없지만, SPPnet은 feature map을 여러 개의 spatial bin으로 나누고, 각 bin에 대해 pooling을 수행하여 고정 길이 벡터를 생성하므로써 입력 크기가 달라도 최종 출력 차원은 항상 동일하게 유지 될 수 있도록 하였다.

SPP layer

기존 CNN을 살펴보면 5개의 Conv와 2개의 FC layer로 구성되어 있고, FC는 softmax 함수를 거쳐 N개의 output을 만든다.

이와 다르게 SPPnet은 5개의 Conv와 3개의 FC layer를 활용한다.
이때, SPP layer가 추가되면서 Conv layers → SPP layer → FC layer로 구성되게 된다.

SPPnet은 입력 feature map의 크기가 달라도 pyramid bin으로 분할 후 pooling하여 항상 같은 길이의 vector를 출력하는 역할을 한다.

→ 마지막 conv feature map이

$ a \times a $

라면, bin으로 나누기 위해 window size와 stride를 adaptive하게 설정하게 된다.

* bin 수는 각 grid의 칸 개수

예를 들어, 위의 그림에서는 21bin = [4x4, 2x2, 1x1]로 3개의 pooling으로 이루어져있다. 각각의 pooling을 5개의 Conv에 저굥ㅇ하여 4x4, 2x2, 1x1의 크기를 출력한다. 이를 일자로 피면 bin의 수가 되는 것이다.

이때 입력 사이즈가 다양하기 때문에 5개의 Conv에서 출력하는 feature map의 크기도 다양하게 된다.

(더 많은 bin일수록 spatial 정보 더 세밀하게 보존되지만, 계산량은 증가한다.)

즉, 다양한 feature에서 pooling의 window size와 stride 만을 조절하여 출력 크기를 결정한다.

위의 이미지는 3-level pyramid pooling의 예시를 정리한 것이다.

또한, SPP layer의 출력 차원은 k*M이 된다.

(이때, k는 5개의 Conv에서 출력한 feature map의 filter 수이고 M은 사전에 설정한 bin의 수이다.)

위 그림에서는 5개의 Conv layer를 하나로 입력받고, 서로 다른 크기(3×3, 2×2, 1×1)로 병렬 max pooling 수행하게 된다. 이후 각 결과를 concat하여 Fc6으로 전달되게 된다.
*9+4+1 =14bins → 1 4-bin SPP layer가 된다.

Conv5의 채널 수가 256이라면 fc6 입력 차원은:14×256=3584로 Fc6에 드렁가게 되면 4096차원으로 변환하게 된다.

즉, 하나의 conv feature map에서 multi-scale spatial representation을 추출하는 구조의 예시이다.

multi-size training

SPPnet은 입력 크기가 달라도 동작하므로, 학습 시에도 다양한 입력 크기를 활용할 수 있기에 multi-size training 전략을 사용한다.

이 방식의 장점은

다양한 스케일에 대한 강건성 향상
객체 크기 변화에 대한 일반화 성능 향상
테스트 시 다양한 입력 크기에 더 잘 대응

→ 단순히 구조만 개선한 것이 아니라 학습 방식까지 확장하여 성능을 높인다.

3. SPP-net for Image Classification

3.1 Single-size Training

SPPnet을 이미지 분류에 적용하였을 때, 다양한 크기를 억지로 왜곡하거나 일부를 잘라낼 필요 없이
그대로 입력 할 수 있게 되었다.

그 결과, SPPnet은 기존 AlexNet 및 ZFNet보다 더 높은 분류 정확도를 가지게 된다.

3.2 Multi-size Training

입력 크기를 다양하게 바꾸며 학습한 multi-size training은 크기를 하나로 학습시키는 single-size training보다 더 높은 성능 더 높은 성능을 보였다.

→ 다양한 scale의 객체를 더 잘 인식하도록 학습이 됨

4. SPP-net for Object Detection

SPP-net의 가장 큰 장점은 객체 탐지 분야에서 확인할 수 있다.

기존의 R-CNN 모델을 살펴보면

selective search로 약 2000개의 region proposal 생성
각 proposal을 잘라내어 CNN에 개별 입력
각 proposal마다 convolution 수행
classification 수행

이 방식은 region proposal마다 CNN을 반복 실행해야 하므로 매우 느리다는 단점이 있다.

SPPnet은 이를 개선하여

전체 이미지에 대해 convolution을 단 한 번 수행
feature map 생성
각 region proposal에 해당하는 feature map 영역만 추출
SPP 적용
fixed-length feature 생성 후 classification

→ 입력이미지리를 먼저 CNN 작업을 진행하고, 다섯번째 도달한 Feature map을 기반으로 Region Proposal 방식을 적용해 candidate bounding box를 선별하는 방식

convolution 연산을 공유함으로써 중복 계산을 제거하고 이를 통해 SPPnet은 R-CNN보다 훨씬 빠르면서도 비슷하거나 더 높은 성능을 달성할 수 있게 하였다.

5. Experiments

5.1 Image Classification

ImageNet 2012 데이터셋에서 SPP-net은 기존 CNN보다 더 높은 정확도를 달성

→ 입력 왜곡 감소와 다중 스케일 feature 추출의 효과

5.2 Generic Image Representation

ImageNet으로 사전학습한 SPP-net feature는
Pascal VOC 2007, Cal SPP가 객체 탐지에서도 매우 실용적 tech101과 같은 다른 데이터셋에서도 강력한 일반화 성능을 보였다.

→ SPP feature는 transfer learning에도 효과적

5.3 Object Detection

Pascal VOC 2007 객체 탐지 실험에서 SPP-net은
R-CNN보다 훨씬 빠른 속도와 comparable하거나 더 나은 성능을 보였다.

→ SPP가 객체 탐지에서도 매우 실용적

6. Conclusion

본 논문은 CNN의 고정 입력 크기 제약을 해결하기 위해 Spatial Pyramid Pooling 계층을 제안하였다.

SPP는 다음과 같은 핵심 장점을 가진다.

입력 이미지 크기에 대한 제약 제거 (이미지 왜곡, 자르기를 하지 않아도 된다.)
다중 스케일 공간 정보 보존
고정 길이 feature vector 생성
이미지 분류 성능 향상
객체 탐지 속도 대폭 개선 (R-CNN과 비교했을 때 빠른 속도를 가짐)

SPP-net은 단순한 pooling 기법의 개선이 아니라, CNN 구조의 입력 제약을 해결하고 이후 객체 탐지 모델 발전의 기반을 마련한 중요한 연구이다.

[논문 리뷰] GPT-1 : Improving Language Understandingby Generative Pre-Training

yenynb — Mon, 4 May 2026 17:50:44 +0900

GPT-1

Improving Language Understanding by Generative Pre-Training

1. Introduction

대부분의 딥러닝은 대규모의 라벨링 데이터 필요, 이는 다양한 도메인에서의 적용성 제한

→ 이러한 문제를 해결하기 위해 비지도 학습방식 활용해 NLP 작업 성능 향상

ex) 단어 임베딩

But 라벨링되지 않은 텍스트로부터 단어 수준 이상의 정보를 활용하는 것의 어려움

어떤 목표가 가장 효과적인지 불분명하다
학습된 표현을 목표 작업에 가장 효과적으로 전이하는 방법이 하나로 정해져 있지 않다.

이에 따라 반지도 학습 방식을 이용하기에는 어렵다.

Chat GPT 모델의 아키텍쳐는 Transformer를 활용한다. 이는 기계 번역, 문서 생성, 구문 분석 등에서 사용된다. 구조화된 텍스트 입력을 하나의 연속적인 토큰 시퀀스로 처리하는 순회 스타일 접근 방식에서 파생된 작업 별 입력 적응을 활용한다. 이에 따라 사전 학습된 모델의 아키텍처에 최소한의 변경만으로 효과적인 미세 조정할 수 있게 한다.

2. Related Work

최근에는 라벨링되지 않은 말뭉치에서 학습된 단어 임베딩을 사용하여 다양한 작업의 성능을 향상시키는 방법이 연구되고 있다.

이는 단어를 넘어 더 높은 수준의 의미를 알아낼 수 있다는 것이다. 최근 접근 방식들은 라벨링되지 않은 데이터로부터 단어 수준 이상의 의미를 학습하고 활용하는 것을 조사한 후 구문 또는 문장 수준의 임베딩이 다양한 목표 작업을 위한 적합한 벡터 표현으로 텍스트를 인코딩하는 데 사용되었다.

본 연구의 Transformer 네트워크는 더 긴 범위의 언어 구조를 포착할 수 있게 해준다. 또한 모델이 자연어 추론, 패러프레이즈 검출 및 이야기 완성 등 더 넓은 범위의 작업에서도 효과적임을 보여준다.

이때 보조 비지도 학습 목표를 추가할 수 있다. 이는 보조 NLP 작업을 사용하여 의미 역할 라벨링을 개선할 수 있다.

⇒ 사전 학습된 언어 모델(비지도 방식을 목표)을 활용해 폭넓게, 그리고 정확한 성능을 목표로 연구를 진행하였다.

3. Framework

3.1 Unsupervised pre-training

라벨링되지 않은 토큰의 말뭉치 U={u1,…,un}가 주어지면, 표준 언어 모델링 목적을 사용하여 다음과 같은 식을 최대화 하여야 한다.

여기서 k는 컨텍스트 창의 크기이며, 저건부 확률 P는 매개변수 세타를 가진 신경망을 모델링하며, 확률적 경사 하강법을 사용하여 학습된다.

여기서 U = (u_{i-k}, ..., u_{i-1})는 문맥 토큰의 벡터이고, n은 레이어의 수,

$W_e$

는 토큰 임베딩 행렬,

$W_p$

는 위치 임베딩 행렬이다.

본 연구에서는 트랜스포머 디코더를 사용하여 문맥 정보를 기반으로 다음 토큰의 확률 분포를 계산하고, 이를 통해 모델을 훈련하는 과정을 거치게 된다.

3.2 Supervised fine-tuning

모델에 맞는 파라미터를 지도학습 목표 작업에 맞추게 된다.

지도학습 적응
먼저 목적 함수로 학습한 후, 모델의 파라미터를 지도 학습 목표 작업에 맞추어 적응시킨다.
레이블이 있는 데이터셋 C가 주어지며, 각 인스턴스는 입력 토큰 시퀀스 x1...xm과 레이블 y로 구성한다.
입력 토큰은 사전 학습된 모델을 통해 처리되어 최종 트랜스포머 블록의 활성화 h_m을 얻고, 이는 추가된 선형 출력층 파라미터 W_y에 입력되어 y를 예측한다. 그 식은 다음과 같다.

위의 식을 통해 최대화해야 하는 목표함수는 다음과 같다.

언어 모델링을 보조 목표로
fine-tuning 단계에서 언어 모델링을 보조 목표로 설정하는 것이 학습에 도움이 된다.
아래와 같은 목표를 함께 최적화한다.

추가되는 파라미터
fine-tuning 단계에서 필요한 파라미터는 W_y와 구분자 토큰의 임베딩이다.

왼쪽: Transformer 아키텍처와 학습 목표
Transformer는 여러 층의 self-attention 메커니즘과 feed-forward network로 구성되어 있으며 입력 토큰 시퀀스의 특성을 추출한다. 학습 목표는 모델이 입력 시퀀스에 대해 올바른 다음 토큰 또는 레이블을 예측할 수 있도록 하는 것이다.

오른쪽: fine-tuning을 위한 입력 변환 방식

입력 데이터의 형식에 관계없이 일관된 방식으로 처리하기 위해 토큰 시퀀스로 변환해 모델에 입력한다.

모델의 최종 출력은 선형 층과 softmax 층을 거쳐 예측을 수행한다.

⇒ 먼저 사전 학습된 모델을 사용하여 입력 시퀀스를 처리한 후, 출력된 활성화를 기반으로 레이블을 예측한다. 또한 언어 모델링을 보조 목표로 추가하여 지도학습의 성능을 향상시킨다.

3.3 Task-specific input transformations

사전 학습된 모델을 통해 다양한 작업을 수행할 수 있다.

텍스트 분류 작업
텍스트 시퀀스를 입력으로 받아 해당 텍스트의 분류를 예측한다.
질문 답변 및 텍스트 추론
구조화된 입력을 필요로 한다.
→ 질문 답변 작업: 문서, 질문, 답변으로 구성된 삼중 구조
→ 텍스트 추론 작업: 전제와 가설로 구성된 문장 쌍
이러한 입력 구조는 연속적인 시퀀스만 처리하는 모델에 맞게 변환이 필요하다.
작업별 아키텍처의 한계
작업별로 특화된 아키텍처를 설계할 수 있지만, 이러한 방식은 각 작업마다 구조 수정이 필요하다는 단점을 가진다.
순회 스타일 접근법

순회 스타일의 접근법을 사용하여 구조화된 입력을 사전 학습된 모델이 처리할 수 있는 순서 정보가 있는 시퀀스로 변환한다.
모든 입력 변환에는 무작위로 초기화된 시작 및 종료 토큰을 추가하여 모델이 입력의 시작과 끝을 인식할 수 있도록 한다.

사전 학습된 모델을 적용하는 방식은 다음과 같다.

텍스트 추론
- 전제 p와 가설 h 두 개의 시퀀스를 사용한다.
- 두 시퀀스를 결합할 때 구분자 토큰을 사이에 추가하여 [p; $; h] 형식으로 구성한다.
유사성 작업
- 비교하는 두 문장에 순서 정보가 없기 때문에 두 가지 가능한 순서를 모두 포함한다.
- 각각의 순서에 대해 구분자 토큰($)을 포함한 시퀀스를 만들어 [문장1; $; 문장2], [문장2; $; 문장1] 형식으로 처리한다.
- 두 시퀀스를 독립적으로 처리하여 두 개의 시퀀스 표현 h_m을 생성한 후, 이를 요소별로 합산하여 선형 출력층에 입력한다.
질문 답변 및 상식적 추론
- 주어진 문맥 문서 z, 질문 q, 가능한 답변 a_k를 사용한다.
- 문서와 질문을 각 가능한 답변과 결합하여 [z; q; $; a_k] 형식으로 구성한다.
- 각 시퀀스를 모델이 독립적으로 처리한 후, softmax 층을 통해 가능한 답변들에 대한 확률 분포를 생성한다.

⇒ 위와 같은 입력 변환 방식을 통해 구조화된 입력을 모델이 이해할 수 있는 형태로 변환하여 활용할 수 있게 한다.

4. Experiments

4.1 Setup

데이터셋

비지도 학습 - BooksCorpus 데이터셋 연속된 긴 텍스트 조각들을 포함하고 있다
대체 데이터셋- ELMo 모델은 대안으로 1B Word Benchmark 데이터셋을 사용
매우 낮은 토큰 수준 perplexity (18.4)으로 활용

모델

구조 : 12개의 레이어로 구성된 디코더 전용 Transformer
세부사항
- 768차원 상태와 12개의 마스크드 셀프 어텐션 헤드로 구성
- 위치별 피드포워드 네트워크는 3072차원의 내부 상태를 사용
최적화
- Adam 최적화 기법 사용, 최대 학습률은 2.5e-4
- 학습률은 처음 2000번의 업데이트 동안 선형적으로 증가시킨 후 코사인 스케줄에 따라 0으로 감소
학습 과정
- 512개의 토큰으로 구성된 연속적인 시퀀스 → 미니배치 64개, 100 epoch
- LayerNorm을 사용하여 N(0, 0.02) 초기화
정규화
- 잔여 드롭아웃, 임베딩 드롭아웃, 어텐션 드롭아웃(0.1의 비율)을 사용
- 비편향 및 비증폭 가중치에 대해 수정된 L2 정규화를 적용
기타
- 활성화 함수로 GELU(지션 임베딩은 학습된 버전을 사용)
- 텍스트 전처리를 위해 ftfy 라이브러리를 사용하여 문장 부호와 공백을 표준화하고, spaCy 토크나이저를 사용
Fine-tuning
- 사전 학습 단계에서 사용한 하이퍼파라미터를 재사용
- 분류기에 드롭아웃(0.1의 비율)을 추가
- 학습률은 6.25e-5, 배치 크기는 32
- 대부분의 경우 3 epoch
- 학습 초기 0.2% 동안 워밍업을 포함한 선형 학습률 감소 스케줄을 사용

4.2 Supervised fine-tuning

Natural Language Inference(NLI)

NLI 과제는 두 문장 간의 관계를 '포함', '모순', '중립' 중 하나로 판단하는 작업
다섯 개 데이터셋(SNLI, MNLI, QNLI, SciTail, RTE)을 사용하여 모델을 평가

성과

자연어 추론(NLI)의 성능 결과표

MNLI에서 1.5%, SciTail에서 5%, QNLI에서 5.8%, SNLI에서 0.6%의 개선을 보임
그러나 작은 데이터셋인 RTE에서는 56%의 정확도로, 기존 모델의 61.7%보다 낮은 성과를 보임

⇒ 멀티태스크에 대한 학습 효과에 관한 추후 연구 필요

Question answering and commonsense reasoning

Question answering
- RACE 데이터셋을 사용하여 질문 응답 성능을 평가 → CNN이나 SQuAD보다 더 다양한 추론 유형의 질문들을 포함하고 있어, 장기적인 문맥을 처리할 수 있는 모델을 평가하는 데 적합하다.
commonsense reasoning
- Story Cloze Test를 사용하여 다중 문장 이야기의 올바른 결말을 두 가지 옵션 중에서 선택하는 과제를 평가

성능

질문응답 및 상식추론의 성능 결과표

Story Cloze Test에서 기존 최고 성과보다 최대 8.9% 개선된 성과를 보임
RACE 데이터셋에서는 전체적으로 5.7% 향상된 성과를 보임

⇒ 모델이 장기 문맥을 효과적으로 처리할 수 있음을 시사

Semantic Similarity

두 문장이 의미적으로 동등한지 여부를 예측하는 작업 → 주요 작업은 개념의 재구성, 부정 이해, 구문적 모호성 처리
데이터셋 : MRPC(뉴스소스), QQP(질문 쌍 데이터), STS-B(의미적 텍스트 유사성)

성능

의미 유사성과 텍스트 분류의 성능 결과

STS-B에서 1점 절대적 향상을 기록하며, 두 개의 의미 유사성 과제에서 최신 성과를 달성
QQP에서는 Single-task BiLSTM+ELMo+Attn 모델에 비해 4.2%의 절대적 향상을 보임

Classification

(CoLa) → 문장이 문법적으로 맞는지에 대한 전문가 판단을 포함하여, 훈련된 모델의 내재된 언어적 편향을 test
(SST-2) → 표준 이진 분류 과제
GLUE 벤치마크에서 전체 점수 72.8을 기록하였으며, 이전 최고 점수인 68.9를 뛰어넘는 점수임을 확인할 수 있다.

5 Analysis

Impact of number of layers transferred

(위의 그래프에서 왼쪽)

Unsupervised pre-training에서 supervised target task로 변환하는 층 수의 영향 관찰

임베딩을 전이하면 성능이 향상되고, 각 transformer layer가 추가적인 이점 제공

Zero-shot Behaviors

(위의 그래프에서 오른쪽)

transformer의 더 구조화된 attention memory가 LSTM에 비해 transfer를 도움

기본 생성 모델을 사용하여 supervised fine-tuning없이 task를 수행하는 일련의 휴리스틱 솔루션의 효과를 시각화

이러한 휴리스틱 성능이 안정적이고 학습이 진행됨에 따라 점차 증가하는 것을 관찰하여

generative pretraining 훈련이 다양한 task 관련 기능 학습을 지원함을 시사

LSTM은 Zero-shot 성능에서 더 높은 분산을 보여주어 트랜스포머 아키텍처의 귀납적 편향이 transfer에 도움이 됨을 시사

Ablation studies

3가지 다른 제거 연구 수행

fine-tuning 하는 동안 보조 LM objective 없이 성능 조사
⇒ 큰 데이터셋이 보조 objective에서 이점을 얻지만 작은 데이터 셋에선 그렇지 않음
동일한 프레임워크를 사용하여 단일 layer 2048 unit LSTM과 비교하여 트랜스포머의 효과를 분석
사전 훈련 없이 지도 목표 task에 직접 훈련된 transformer 아키텍처와 비교
⇒ 사전 훈련이 없으면 모든 작업에서 성능이 저하됨

6 Conclusion

생성적 pre-training과 판별적 fine-tuning을 통해 단일 task 비특화 모델로 강력한 성능 발휘

구체적으로, 다양한 장르의 연속적인 긴 텍스트를 포함하는 데이터 셋에서 pre-training을 통해 모델은 긴 범위의 의존성을 처리하는 능력을 얻음

모델 (Transformers)과 데이터셋(긴 범위의 의존성을 가진 텍스트)이 이러한 접근 방식에 가장 잘 맞는다는 힌트를 제공

이는 Unsupervised learning 을 통한 자연어 이해 및 기타 분야에서의 새로운 연구를 촉진하게 함

[논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

yenynb — Mon, 4 May 2026 17:03:41 +0900

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova

https://arxiv.org/abs/1810.04805

1. Introduction

자연어 처리 작업의 성능을 향상시키기 위해 언어 모델 사전 학습이 효과적이다!

자연어 처리 작업?

문장 간 관계 예측
이전에 썼던 단어와 다른 단어를 사용하여 표현하는 방식(paraphrasing)
개체명 인식 및 질의응답 방식

사전 학습된 언어표현을 자연어 처리에 적용하는 기존의 2가지 방식

feature-based
- 임베딩은 기존 방식으로 이용하되 그외 나머지 부분(레이어)을 학습
- 특정 task에 맞는 architecture를 구성하고 사전학습된 레이어를 추가적인 피쳐로 활 ex) ELMo
fine-tuning
- 기존 모델을 기반으로 architecture를 목적에 맞게 변형
- 모델 전체적인 부분에서 조금씩 업데이트 하는 방식

→ 위의 두 가지 방식은 사전 훈련 시 같은 목표(원하는 task)를 공유 및 일반적인 언어 표현 학습을 위해 단방향 LM을 사용한다. 이에 따라 본 연구에서는 현재 기술이 fine-tuning 접근 방식에서 사전 훈련 능력을 제한한다고 주장 하였다.

2. Related Work

2.1 Unsupervised Feature-based Approaches

단어의 폭넓게 적용 가능한 표현을 학습하는 것은 오랜 연구 목표였으며 이에 관해 비신경망 기반 방법과 신경망 기반 방법 모두 존재한다.

사전 학습된 단어 임베딩은 현대 NLP 시스템에서 기존 단어 임베딩보다 성능을 크게 개선 → 단어 임베딩 벡터를 사전 학습하기 위해, 좌측에서 우측으로의 언어 모델링 목표와 좌우 문맥에서 올바른 단어를 구별하는 목표가 사용 → 이러한 접근법은 문장 임베딩을 더 큰 단위로 일반화

ELMo는 좌에서 우 그리고 우에서 좌로의 LM에서 문맥에 민감한 특징을 추출 → 질문 응답, 감정 분석, 명명된 개체 인식 등 여러 주요 NLP에 활용

→ LSTM을 사용해 좌우 문맥을 통해 단어를 예측하는 과제를 통해 문맥적 표현을 학습하는 방법 제안(ELMo와 비슷한 방식)

2.2 Unsupervised Fine-tuning Approache

초기 연구들은 레이블이 없는 텍스트에서 단어 임베딩 파라미터만을 사전 학습하였다.

BUT 최근에는 문맥적 토큰 표현을 생성하는 문장 또는 문서 인코더들이 레이블이 없는 텍스트에서 사전 학습 및 지도 학습을 통해 다운스트림 작업(특정 작업에 맞게 학습하는 과정)에서 미세 조정을 진

이 접근법의 장점은 학습해야 하는 매개변수(파라미터)의 수가 적다는 것이다. → 여러 문장 수준 작업에서 이전의 최첨단 성능을 달성 → 좌측에서 우측으로의 언어 모델링과 오토인코더 목표 사용

특히나 사전 학습된 아키텍처와 최종 다운스트림 아키텍처 사이에 최소한의 차이만 있다는 점에서 큰 이점을 가진다.

2.3 Transfer Learning from Supervised Data

대규모 데이터셋을 사용하는 지도 학습 작업에서의 효과적인 전이 학습을 보여주는 연구 또한 존재한다.

자연어 추론이나 기계 번역 분야에서 뿐만 아니라 ImageNet으로 사전 학습된 모델을 미세 조정(fine-tuning)하는 것이 효과적인 방법임을 입증하였다.

3. BERT

BERT의 학습 프레임워크는 두 단계로 구성된다.

사전 학습(pre-training) 모델이 다양한 사전 학습 작업을 통해 레이블이 없는 데이터를 학습
Fine-tuning 사전 학습이된 매개변수로 초기화된 후, 다운스트림 작업(특정 작업)에 대한 레이블이 있는 데이터를 사용해 모든 매개변수가 Fine-tuning

⇒ BERT의 독특한 특징은 다양한 작업에 걸쳐 통일된 아키텍처를 사용하는 점이다.

Model Architecture

Multi-layer bidirectional Transformer encoder 구조

layer 수 (Transformer block) → $L$
hiddens size → $H$
self-attention head 수 → $A$

$BERT_{base}$ ($L = 12,\; H = 768,\; A = 12,\; parameter = 110M$)

→ 본 연구와 비교를 위해 GPT와 동일한 모델 크기를 선택하였다.

→ BERT의 Transformer는 양방향 self-attention을 사용하는 반면, GPT의 Transformer는 제한된 self-attention을 사용한다. 따라서 GPT에서는 각 토큰이 자신보다 왼쪽에 있는 문맥만 참조할 수 있다.

$BERT_{LARGE}$ ($L = 24,\; H = 1024,\; A = 16,\; parameter = 340M$)

Input/Output Representations

BERT가 다양한 다운스트림 작업 처리를 위해 입력은 단일 문장과 문장 쌍을 하나의 토큰 시퀀스에서 명확하게 나타낼 수 있다. 본 연구에서는 "문장"연속적인 텍스트의 임의의 범위를 의미할 수 있음을 주의하여야 하며 "시퀀스"는 BERT에 대한 입력 토큰 시퀀스를 나타내며, 단일 문장일 수도 있고, 두 문장이 함께 묶인 것일 수도 있다.

BERT는 WordPiece 임베딩과 30,000개의 토큰으로 이루어진 어휘를 사용한다.

모든 시퀀스의 첫번째 토큰은 ( [CLS] ) → 이 토큰에 해당하는 최종 히든 상태는 분류 작업에서 시퀀스 전체를 대표하는 표현으로 사용

문장 쌍은 하나의 시퀀스로 묶이며, 두 가지 방법으로 문장을 구분

특수 토큰([SEP])으로 문장들을 분리
각 토큰에 학습된 임베딩을 추가해 그 토큰이 문장 A에 속하는지, 문장 B에 속하는지를 나타냄

⇒ 입력 임베딩을 $E$, 특수 [CLS] 토큰의 최종 hidden vector를 $C \in \mathbb{R}^H$, i번째 입력 토큰의 최종 hidden vector를 $T_i \in \mathbb{R}^H$로 표시한다.

⇒ 각 토큰의 입력 표현은 해당 토큰(token), 세그먼트(segment), 위치 임베딩(position embedding)을 합산하여 구성

3.1 Pre-training BERT

BERT를 사전학습하기 위해 두 가지 비지도 학습 방식을 활용

Task #1: Masked LM

좌에서 우 또는 우에서 좌로 진행하는 모델을 단순히 연결한 모델보다 더 강력하며 표준 조건부 언어 모델은 좌에서 우로 또는 우에서 좌로만 학습할 수 있다.

BUT 심층 양방향 모델이 더 강력하다, → 다층적 문맥에서 목표 단어를 쉽게 예측할 수 있기 때문에..

심층 양방향 표현을 학습하기 위해, 본 연구에는 단순히 입력 토큰의 일부를 무작위로 마스킹하고, 그 마스킹된 토큰을 예측하는 방법을 사용하는 방식을 따른다. → MLM (마스킹된 언어 모델)

마스킹된 토큰에 해당하는 최종 히든 벡터를 어휘에 대한 출력 소프트맥스에 전달하여 표준 언어 모델처럼 예측 수행

위의 방식을 활용한다면 양방향 사전 학습 모델을 얻을 수 있지만 문제는 사전 학습과 미세 조정 간의 불일치를 초래한다는 점에서 문제가 발생할 수 있다. → [MASK] 토큰은 미세 조정 중에는 등장하지 않기 때문에..

이를 완화하기 위해

"마스킹된" 단어를 항상 실제 [MASK] 토큰으로 대체하지 않는다.
학습 데이터 생성기는 예측을 위해 토큰 위치의 15%를 무작위로 선택하게 된다.

i번째 토큰이 선택된다면 ..해당 토큰을
- 해당 토큰을 80% 확률로 [MASK] 토큰으로,
- 해당 토큰을 10% 확률로 무작위 토큰으로
- 10% 확률로 그대로 유지

가 원래의 토큰을 교차 엔트로피 손실로 예측하는 데 사용

$T_i$

→ Maksed LM을 활용했을 시 성능이 더 개선되었음을 확인할 수 있었다.

Task #2: Next Sentence Prediction (NSP)

질문 응답(QA)과 자연어 추론(NLI) 같은 중요한 다운스트림 작업은 두 문장 간의 관계를 이해하는 것에 기반, BUT 이는 단순한 언어 모델링으로는 직접적으로 다뤄지지 않는다.

→ 문장 관계를 이해하는 모델 학습을 위해, 본 연구에서는 어떤 단일 언어 코퍼스에서도 쉽게 생성할 수 있는 이진화된 다음 문장 예측(NSP) 작업을 사전 학습 진행

ex) 두 문장 A와 B로 구성

50%의 경우, B는 실제로 A 뒤에 오는 다음 문장(‘IsNext’ 레이블)
나머지 50%의 경우, B는 코퍼스에서 무작위로 선택된 문장(‘NotNext’ 레이블)

⇒ NSP 작업은 QA와 NLI 같은 다운스트림 작업의 성능을 크게 향상시킨다.

특히 BERT에서는 모든 매개변수가 최종 작업 모델의 매개변수를 초기화하는 데 사용된다.

Pre-training data

pre-training corpus로는 BooksCorpus(800M words) + English Wikipedia 에서 텍스트 문단만 추출(2500M words)

⇒ 길고 연속적인 시퀀스를 추출하기 위해 문장 수준이 아닌 문서 수준의 corpus를 사용이 중요

3.2 Fine-tuning BERT

Transformer의 셀프 어텐션 메커니즘 활용→ BERT는 많은 다운스트림 작업을 처리 가능

이전에는 텍스트 쌍을 처리 작업에서 텍스트 쌍을 독립적으로 인코딩 후 양방향 교차 어텐션을 적용하는 방식이 사용

→ BUT BERT는 셀프 어텐션 메커니즘을 사용하여 이러한 두 단계를 통합

작업별 입출력을 BERT에 연결하고 모든 매개변수(파라미터)를 끝까지 fine-tuning

입력 단계에서 사전 학습 시의 문장 A와 문장 B

패러프레이징에서의 문장 쌍
함의 관계의 가설-전제 쌍
질문 응답에서의 질문-지문 쌍
텍스트 분류 또는 시퀀스 태깅에서의 텍스트-∅ 쌍과 유사

출력 단계에서

토큰 표현이 시퀀스 태깅이나 질문 응답 같은 토큰 수준 작업의 출력 층에 전달
[CLS] 표현은 함의 관계나 감정 분석 같은 분류 작업의 출력 층에 전달

⇒ pre-training에 비해, fine-tuning은 상대적으로 저비용

4.1 GLUE

BERT를 GLUE에서 fine-tuning하기 위해 입력 시퀀스(단일 문장 또는 문장 쌍)를 앞서 설명한 방식으로 구성한다.

첫 번째 입력 토큰인 [CLS]에 해당하는 최종 hidden vector C를 집합적 표현으로 사용하며, C ∈ R^H로 정의한다.

fine-tuning 과정에서 새롭게 도입되는 매개변수는 분류 레이어 가중치 W ∈ R^K×H이며, 여기서 K는 label의 개수를 의미한다.

이에 따라 C와 W를 활용해 표준 분류 손실을 계산하며, 손실 함수는 아래와 같다.

undefined

본 연구에서는 batch size 32로 GLUE 실험에서 3 epoch 동안 fine-tuning을 수행했으며, Dev set에서 최적의 학습률(5e-5, 4e-5, 3e-5, 2e-5 중)을 선택하였다. 또한 BERT_LARGE의 경우 학습이 다소 불안정하여 Dev set 기준으로 최적 모델을 선정하였다.

결과적으로 모든 task에서 BERT_LARGE가 BERT_BASE보다 더 높은 성능을 보였으며, 특히 작은 데이터셋에서 더욱 효과적이었다.

4.2 SQuAD v1.1

Table 2. SQuAD v1.1의 실험 결과

SQuAD (Stanford Question Answering Dataset)

SQuAD v1.1은 약 10만 개의 crowd-sourced question-answer 쌍으로 이루어진 데이터셋이다.

이 데이터셋에서는 질문과 정답이 포함된 Wikipedia 단락이 주어졌을 때, 해당 단락 내에서 정답 텍스트의 범위를 예측한다.

fine-tuning 단계에서는 start vector S ∈ R^H와 end vector E ∈ R^H만 새롭게 도입한다.

정답이 시작되는 단어 i의 확률은 T_i와 S의 내적을 계산한 뒤, 단락의 모든 단어에 대해 softmax를 적용하여 계산한다.

undefined

이후 위치 i에서 j까지 후보 범위의 점수는 S · T_i + E · T_j로 정의되며, j ≥ i를 만족하는 최대 점수 범위가 최종 예측으로 사용된다.

학습 목표는 올바른 start position과 end position의 log-likelihood 합을 최대화하는 것이다.

본 연구에서는 learning rate 5e-5, batch size 32, 3 epoch를 사용하였다.

4.3 SQuAD v2.0

SQuAD v2.0은 짧은 답변이 존재하지 않을 가능성을 허용함으로써 SQuAD v1.1의 문제 정의를 확장한 보다 현실적인 QA task이다.

Table 2. SQuAD v2.0의 실험 결과

답변이 없는 질문은 시작과 끝이 모두 [CLS] 토큰인 답변 범위를 갖는 것으로 처리한다. 즉, 답변 범위 확률 공간을 [CLS] 위치까지 확장한다.

예측 시에는 무답변 범위 점수와 최고 비무답 범위 점수를 비교한다.

undefined

최종적으로 아래 조건을 만족하면 응답이 존재한다고 예측한다.

undefined

여기서 τ는 dev set에서 F1 score를 최대화하도록 선택된 임계값이다.

본 연구에서는 TriviaQA 데이터셋은 사용하지 않았으며, learning rate 5e-5, batch size 48, 2 epoch를 사용하였다.

4.4 SWAG

Table 3. SWAG Dev와 Test의 성능

SWAG 데이터셋은 113,000개의 문장 쌍 완성 예제를 포함하며, 상식 기반 추론 능력을 평가하기 위해 사용된다. 주어진 문장을 바탕으로 네 가지 선택지 중 가장 자연스러운 후속 문장을 선택하는 task이다.

SWAG 데이터셋으로 fine-tuning할 때는 주어진 문장 A와 가능한 후속 문장 B를 연결해 총 4개의 입력 시퀀스를 구성한다.

과제 특화 파라미터는 [CLS] 토큰 표현 C와의 내적을 통해 각 선택지의 점수를 계산하는 벡터이며, 이 점수는 softmax layer를 통해 정규화된다.

본 연구에서는 learning rate 2e-5, batch size 16, 3 epoch를 사용하였다.

참고문헌

[논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding (NAACL 2019)

BERT 논문정리 · MinhoPark

벤치마크 (GLUE, SuperGLUE, SQuAD) 설명

[짧은 논문 리뷰] Deep Contextualized Word Representations

yenynb — Mon, 4 May 2026 16:43:47 +0900

ELMo 논문 리뷰

https://arxiv.org/abs/1802.05365

논문명: Deep Contextualized Word Representations
저자: Matthew E. Peters et al. (2018)

1. Introduction

ELMo(Embeddings from Language Models)는 단어를 고정된 하나의 벡터로 표현하던 기존 Word2Vec, GloVe의 한계를 극복하기 위해 제안된 문맥 기반(Contextualized) 단어 임베딩 모델이다. 기존 임베딩은 하나의 단어가 항상 동일한 벡터를 가지므로 다의어(polysemy)를 충분히 반영하지 못했다. 예를 들어 bank는 “은행”과 “강둑”이라는 서로 다른 의미를 가지지만, 기존 임베딩은 이를 하나의 벡터로만 표현했다. ELMo는 이러한 문제를 해결하기 위해 문장 전체 문맥에 따라 단어 표현이 동적으로 달라지는 임베딩을 제안한다.

핵심 아이디어는 대규모 비지도 텍스트로 학습한 양방향 언어모델(Bidirectional Language Model, biLM) 의 내부 hidden state를 활용해 단어 임베딩을 생성하는 것이다. 즉, 단어 표현이 단순 lookup embedding이 아니라 문맥에 따라 달라지는 함수가 된다.

2.

ELMo는 단어 t_k를 표현할 때 단순히 embedding matrix에서 고정 벡터를 lookup하는 방식이 아니라, 양방향 언어모델(biLM)의 각 층 표현을 조합해 문맥적 표현을 생성한다.

undefined

여기서 h_k,j^LM는 biLM의 j번째 층 hidden representation이며,
s_j^task는 각 층의 중요도를 나타내는 학습 가능한 가중치,
γ^task는 전체 표현의 크기를 조정하는 scaling parameter이다.

이 식의 핵심은 downstream task마다 필요한 언어 정보를 서로 다른 층에서 선택적으로 가져갈 수 있다는 점이다.
즉, 모든 task가 동일한 representation을 사용하는 것이 아니라, task별로 필요한 층 정보를 다르게 조합해 사용할 수 있다.

논문에서는 이를 실험적으로 검증했는데, 하위 층(lower layer)은 POS tagging과 같은 구문 정보(syntactic information)를 더 잘 포착하고, 상위 층(upper layer)은 WSD (Word Sense Disambiguation)와 같은 의미 정보(semantic information)를 더 잘 반영하는 것으로 나타났다.

즉, ELMo는 단순히 “문맥을 반영한 임베딩 (contextual embedding)”이 아니라, 문법적 정보와 의미적 정보를 계층적으로 담아내는 deep contextualized word representation이라고 볼 수 있다.

3. 모델 구조

ELMo는 크게 두 단계로 구성된다.

Pretraining
대규모 말뭉치(1 Billion Word Benchmark)에서 2-layer BiLSTM 기반 biLM을 학습한다. 이때 입력은 character CNN을 사용하여 subword 정보까지 반영한다. 따라서 OOV(out-of-vocabulary) 문제에 강하다.
Task-specific Transfer
사전학습된 biLM은 고정(freeze)한 채, downstream task 모델 입력에 ELMo 벡터를 concatenation하여 사용한다. 별도의 대규모 fine-tuning 없이도 다양한 NLP task에 쉽게 삽입 가능하다.

이 구조는 이후 등장하는 BERT처럼 전체 모델을 fine-tuning하는 방식과 달리, feature-based transfer learning의 대표적인 형태로 볼 수 있다.

4. 실험 결과 및 성능

논문은 ELMo를 SQuAD, SNLI, SRL, Coreference Resolution, NER, SST-5의 6개 NLP task에 적용해 모두 성능 향상을 보였다. 특히 단순히 ELMo를 추가하는 것만으로 기존 SOTA를 일관되게 갱신했다.

대표적으로,

SQuAD: 81.1 → 85.8 (F1 +4.7)
SRL: 81.4 → 84.6 (F1 +3.2)
Coreference: 67.2 → 70.4 (F1 +3.2)
NER: 90.15 → 92.22 (F1 +2.07)

이는 ELMo가 특정 task에 특화된 구조가 아니라, 범용적인 언어 표현 학습 방식임을 보여준다. 또한 적은 데이터 환경에서도 높은 sample efficiency를 보여, 적은 labeled data만으로도 baseline보다 빠르게 성능을 끌어올렸다.

5. 의의와 한계

ELMo의 가장 큰 의의는 NLP 패러다임을 static embedding → contextual embedding으로 전환시켰다는 점이다. Word2Vec/GloVe가 단어 자체를 표현했다면, ELMo는 “문맥 속 단어”를 표현했다. 이는 이후 BERT, GPT와 같은 pretrained language model 계열의 출발점이 되었다는 점에서 매우 중요하다.

또한 ELMo는 다음 두 가지 기여를 남겼다.
첫째, 사전학습 언어모델이 downstream task에 강력한 일반 표현을 제공할 수 있음을 입증했다.
둘째, representation의 각 층이 서로 다른 언어 정보를 담는다는 점을 실험적으로 분석해 이후 Transformer layer analysis 연구의 기반이 되었다.

다만 한계도 존재한다. BiLSTM 기반 구조이므로 병렬화가 어렵고, Transformer 기반 모델보다 긴 문맥 처리 효율이 낮다. 또한 feature extraction 기반이므로 BERT처럼 end-to-end fine-tuning하는 방식보다 표현 적응력이 제한적이다.

6. 결론

ELMo는 문맥에 따라 동적으로 변하는 단어 표현을 제안하며, NLP에서 contextual embedding 시대를 연 대표적 연구이다. BiLM의 각 층 표현을 task-specific하게 조합한다는 단순하지만 강력한 아이디어를 통해 다양한 NLP 과제에서 일관된 성능 향상을 보였다. 이후 등장한 BERT, GPT 계열 모델에 비해 구조는 단순하지만, “사전학습 언어모델 기반 표현학습”의 출발점이라는 점에서 ELMo는 현대 NLP의 중요한 전환점으로 평가된다.

[논문 리뷰] Neural Machine Translation by Jointly Learning to Align and Translate

yenynb — Wed, 29 Apr 2026 10:57:46 +0900

Neural Machine Translation by Jointly Learning to Align and Translate (Bahdanau et al., 2015)

Attention 논문

https://arxiv.org/abs/1409.0473

1. Introduction

지금의 Transformer, BERT, GPT와 같은 모델에서 Attention은 핵심 연산이다.

하지만 이전에는 Encoder–Decoder 구조에 기반하고 있어 당시 표준적인 Seq2Seq 모델은 입력 문장을 하나의 고정 길이 벡터 압축한 뒤, Decoder가 이를 기반으로 번역 문장을 생성하는 구조였다. 이 방식은 구조적으로 단순했지만, 문장이 길어질수록 성능이 급격히 저하되는 문제가 있었다.

이 논문의 핵심은 기존 Encoder–Decoder는 문장 전체를 하나의 context vector로 압축해야 했기 때문에, 긴 문장에서 정보 손실이 무조건 발생했고, 이 문제가 번역 성능 저하의 핵심이기에 이를 해결할 수 있도록 하는 것이다.

⇒ 따라서 Decoder가 출력 단어를 생성할 때마다 source sentence의 서로 다른 부분을 동적으로 참고할 수 있도록 만드는 새로운 구조를 제안한다.

Key Point

Decoder 구조를 폐기하지 않고 확장
입력 전체를 하나의 벡터로 압축하는 대신, 입력 시퀀스를 집합으로 유지하고, Decoder가 각 시점마다 필요한 부분만 선택적으로 참조

2. Background: Neural Machine Translation

2.1 RNN Encoder–Decoder

기존 NMT의 기본 구조는 RNN Encoder–Decoder이다. 입력 문장 x=(x_1, x_2, ... x_{T_{x}})가 주어지면 Encoder는 이를 순차적으로 읽으며 hidden state를 업데이트한다.

여기서 (h_t)는 시점 (t)의 hidden state이며, (f)는 비선형 함수(RNN, GRU, LSTM 등)이다. Encoder는 전체 입력 문장을 읽은 뒤 최종적으로 context vector (c)를 생성한다.

기존 Seq2Seq에서는 보통 마지막 hidden state h_{T_x} 를 그대로 context vector로 사용한다.

이후 Decoder는 이 context vector (c)를 바탕으로 target sentence

(y=(y_1, y_2, ..., y_{T_y}))

를 생성한다. 번역 확률은 다음과 같아진다.

즉, Decoder는 이전까지 생성한 단어들과 고정된 context vector (c)를 기반으로 다음 단어를 생성한다.

여기서 (s_t)는 Decoder hidden state, (g)는 softmax 기반 출력 함수이다.

이 구조의 문제는 모든 정보를 오직 하나의 벡터 (c)에 담아야 한다는 점이다. 입력 문장이 길어질수록 중요한 정보는 손실되고, Decoder는 긴 문장의 후반부를 제대로 복원하지 못하는 문제가 있다.

3. Learning to Align and Translate

3.1 Decoder: General Description

Bahdanau Attention의 핵심은 Decoder가 target word를 생성할 때마다 문장 전체를 다시 참조할 수 있도록 만든 것이다. 기존 모델에서는 모든 시점에서 동일한 context vector (c)를 사용했지만, 제안 모델은 매 시점 (i)마다 다른 context vector

(c_i)

를 계산한다.

새로운 조건부 확률은 다음과 같다.

여기서 핵심은 (c_i)이다. 이제 Decoder는 출력 단어마다 서로 다른 문맥 벡터를 사용한다.

Decoder hidden state는 다음과 같이 갱신된다.

즉, 현재 Decoder state는 이전 state, 이전 출력 단어, 그리고 현재 시점의 context vector를 함께 고려하여 결정된다.

3.2 Attention Mechanism: Alignment Model

Attention의 핵심은 각 시점마다 context vector

(c_i)

를 source annotation들의 weighted sum으로 계산하는 것이다.

h_j: source의 j번째 단어 annotation
αij: target 단어 y_i를 생성할 때 source 단어 x_i에 부여하는 attention weight

즉, context vector는 hidden state들의 단순 평균이 아니라, “현재 target word 생성에 얼마나 중요한가”를 반영한 가중합이다.

Attention weight는 softmax를 통해 계산된다.

여기서 는 alignment score이며, source의 j번째 단어와 target의 i번째 단어가 얼마나 잘 맞는지를 나타낸다.

즉, 이전 Decoder state

(s_{i-1})

와 source annotation

(h_j)

를 입력으로 받아 alignment score를 계산한다.

Bahdanau는 이 alignment model (a)를 feedforward neural network로 parameterize한다.

$$e_{ij}=v_a^\top \tanh(W_a s_{i-1} + U_a h_j)$$

이 식은 Bahdanau Attention의 핵심 수식

: 현재 Decoder가 원하는 정보
: source의 j번째 단어 정보
: 비선형 결합
: scalar alignment score 출력

(v_a^\top)

(\tanh)

(U_a h_j)

(W_a s_{i-1})

이 score를 softmax에 통과시키면 source 각 단어에 대한 attention distribution이 생성된다.

이 구조의 핵심은 정렬을 hard selection이 아닌 soft selection으로 수행해 모든 source 단어에 attention을 분배하고, 이를 통해 gradient를 end-to-end로 전달한다는 것이다.

3.3 Encoder: Bidirectional RNN

Attention이 제대로 작동하려면 source representation이 풍부해야 한다. 이를 위해 저자들은 Encoder를 Bidirectional RNN(BiRNN)으로 구성한다.

Forward RNN은 왼쪽에서 오른쪽으로 읽는다.
Backward RNN은 오른쪽에서 왼쪽으로 읽는다.
최종 annotation은 두 hidden state를 concatenate하여 만든다.

즉, 각 단어

(x_j)

의 표현

(h_j)

는 앞 문맥과 뒤 문맥을 모두 포함한다. 이는 Attention이 단어를 선택할 때 더 풍부한 문맥 정보를 활용할 수 있게 만든다.

4. Experiment Settings

4.1 Dataset

실험은 WMT’14 English–French 번역 데이터셋에서 수행되었다.

전체 8.5억 단어 규모의 병렬 코퍼스를 사용했으며, data selection 이후 약 3.48억 단어를 학습에 사용했다.

4.2 Models

비교 대상은 두 모델로 아래와 같다.

RNNencdec: 기존 Encoder–Decoder
RNNsearch: Attention 기반 모델

⇒ Attention이 특히 긴 문장에서 얼마나 강건한지 비교할 수 있다.

5. Results

Quantitative Results

RNNsearch는 모든 실험 설정에서 기존 RNNencdec보다 높은 BLEU score를 기록했으며, 특히 긴 문장에서 성능 우위가 더욱 크게 나타났다. 이는 Attention이 fixed-length bottleneck 문제를 효과적으로 완화했음을 보여준다.

Qualitative Analysis

Attention weight 시각화를 통해 모델이 target 단어를 생성할 때 source의 어떤 부분에 집중하는지 확인할 수 있었으며, 단조·비단조 정렬 모두 자연스럽게 학습함을 보였다. 또한 긴 문장에서도 RNNsearch는 의미를 안정적으로 유지해, 기존 Encoder–Decoder보다 훨씬 견고한 번역 성능을 보였다.

6. Conclusion

이 논문은 Attention을 단순한 성능 개선 기법이 아니라, Seq2Seq의 구조적 한계를 해결하기 위한 핵심 메커니즘으로 제안했다.

핵심은 입력 전체를 하나의 벡터로 압축하지 않고, Decoder가 필요한 순간마다 source sequence를 동적으로 참조하도록 만든 것이다.

[논문리뷰] Seq2Seq(Sequence to Sequence Learning with Neural Networks)

yenynb — Mon, 27 Apr 2026 23:00:20 +0900

Sequence to Sequence Learning with Neural Networks

Sequence to Sequence Learning with Neural Networks 논문

https://arxiv.org/abs/1409.3215

1. Introduction

기존 심층신경망(DNN)은 큰 네트워크의 경우에는 충분히 학습된 역전파를 사용하여 훈련하며 이미지 인식 등에서 뛰어난 성능을 보였지만 고정된 차원의 입력과 출력에만 적용 가능하다.

그러나 번역, 음성 등은 길이가 사전에 알려지지 않은 가변 길이 시퀀스로 표현되기 때문에 긴 시퀀스의 학습과 정보손실 문제에서 한계가 존재하게 된다.

Key Idea

LSTM

본 논문에서는 LSTM(Long Short-Term Memory) 아키텍처를 직접적으로 적용해 일반적인 sequence-to-sequence 문제를 해결하는 방법을 제안하였다.

Encoder LSTM: 입력 시퀀스를 하나씩 읽어 고정 크기의 벡터 표현으로 압축 → 기존 DNN의 한계를 극복하려 함
Decoder LSTM: 벡터로부터 출력 시퀀스를 한 토큰씩 생성

→ LSTM을 활용함으로써 메모리 문제 해결, 입력과 해당 출력 사이의 상당한 시간 지연 문제 해결하면서 더 안정적이고 효과적인 학습이 가능하도록 개선하였다.

위의 모델을 보면 입력 문장 "ABC"를 읽고, 출력 문장 "WXYZ"를 생성함, 모델은 EOS 토큰을 통해 문장을 종료 시킨 후 예측을 멈춤, 특히 LSTM은 입력 문장을 역순으로 읽는다는 것이 특징이다.

→ 제안된 방법이 기존 기계 번역 시스템을 능가하며, 입력 데이터를 역순으로 배치하는 간단한 트릭이 모델 성능을 크게 향상시킴을 보여주었다.

The model (모델 구조)

2-1. 기존 RNN

RNN은 시퀀스 데이터를 처리하는 데 자연스러운 구조이지만, 입력과 출력의 길이가 다르거나 복잡한 비단조적(non-monotonic) 관계를 가질 경우 적용이 어렵다. 또한 기울기 소실(vanishing gradient) 문제로 인해 장거리 의존성(long-range dependency) 학습에 취약하다.

2.2 인코더-디코더 구조

모델이 학습하는 것은 다음의 조건부 확률이다.

인코더 LSTM은 입력 시퀀스를 순차적으로 읽어 마지막 은닉 상태(hidden state)로 고정 차원 벡터 vv 를 생성한다. 디코더 LSTM은 이 벡터 vv 를 초기 은닉 상태로 삼아, 각 타임스텝마다 다음 단어에 대한 소프트맥스 분포를 출력하며 시퀀스를 생성한다.

2.3 세 가지 핵심 설계 선택

1. 인코더와 디코더에 별도의 LSTM 사용

입력용과 출력용 LSTM을 분리함으로써 모델 파라미터 수를 늘리면서도 동시에 다양한 언어 쌍에 대한 학습이 자연스럽게 가능해진다.

2. 4층의 깊은(deep) LSTM 사용

단층(shallow) LSTM 대비 심층 LSTM이 훨씬 높은 성능을 보였다. 층을 추가할 때마다 perplexity가 약 10%씩 감소하였으며, 이는 더 큰 은닉 상태로부터 비롯된 표현력 향상에 기인한 것으로 분석된다.

3. 입력 시퀀스의 역전

가장 독창적이고 효과적인 기법으로, 입력 문장의 단어 순서를 반전시켜 학습하는 방법이다. 예를 들어 a, b, c → α, β, γ 매핑 대신 c, b, a → α, β, γ로 학습한다. 이를 통해 소스 시퀀스의 앞부분 단어들이 타깃 시퀀스의 초반 단어들과 가까워져 단기 의존성(short-term dependency)이 증가하고, 역전파(backpropagation)가 소스-타깃 간 "통신"을 훨씬 쉽게 확립할 수 있다. 실험 결과, 이 기법 하나만으로 테스트 BLEU 점수가 25.9에서 30.6으로 크게 향상되었다.

3. Experiments (실험)

3.1 데이터셋

WMT'14 영어-프랑스어 번역 데이터셋을 사용하였다. 전체 데이터셋에서 정제된 1,200만 문장 쌍(영어 3억 400만 단어, 프랑스어 3억 4,800만 단어)을 훈련에 활용하였으며, 소스 어휘 16만 개, 타깃 어휘 8만 개로 어휘 크기를 제한하였다. 어휘 외 단어는 <UNK> 토큰으로 대체하였다.

3.2 디코딩 및 리스코어링

번역 생성은 좌-우 빔 서치 방식으로 수행하였다. 이때, 빔 크기 1에서도 합리적인 성능을 보였고, 빔 크기 2만으로도 빔 서치의 효과 대부분을 얻을 수 있었다.

또한 기존 SMT 시스템이 생성한 1,000-best 후보 목록에 대해 LSTM으로 리스코어링(rescoring)하는 방식도 실험하였다. LSTM 점수와 SMT 점수를 동등 평균하여 최종 번역을 선택하였다.

3.3 학습 세부 사항

항목	설정
LSTM 층 수	4층
각 층 셀 수	1,000개
워드 임베딩 차원	1,000
총 파라미터 수	384M (순환 연결 64M)
옵티마이저	SGD (모멘텀 없음), 학습률 0.7
학습률 감소	5 epoch 이후 매 0.5 epoch마다 절반
총 학습 epoch	7.5
미니배치 크기	128
그래디언트 클리핑	Norm 임계값 5
파라미터 초기화	Uniform(-0.08, 0.08)
학습 소요 시간	약 10일 (8-GPU 병렬화)

특히 같은 길이의 문장들을 하나의 미니배치로 묶는 방식을 채택하여 불필요한 패딩 연산을 최소화하고 2배의 속도 향상

3.4 실험 결과

Direct Translation 결과

Bahdanau et al.	28.45
SMT Baseline	33.30
Single forward LSTM (beam 12)	26.17
Single reversed LSTM (beam 12)	30.59
Ensemble of 5 reversed LSTMs (beam 2)	34.50
Ensemble of 5 reversed LSTMs (beam 12)	34.81

Rescoring 결과

SMT Baseline	33.30
Best WMT'14 result	37.0
Rescoring (single forward LSTM)	35.61
Rescoring (ensemble of 5 reversed LSTMs)	36.5

5개의 역전 LSTM 앙상블은 직접 번역에서 SMT 기준선을 1.5점 넘어섰고, 리스코어링 모드에서는 최고 성능 결과(37.0)에 0.5점 차이까지 접근하였다.

→ 순수 신경망 기반 번역 시스템이 처음으로 대규모 과제에서 SMT 기준선을 넘은 결과

3.5 긴문장 처리 성능

기존 연구들에서 긴문장에 대한 성능이 떨어졌지만, Seq2Seq 모델은 35단어 미만의 문장에서는 성능 저하가 전혀 없었고, 가장 긴 문장에서도 미미한 수준의 저하만 발생하였다. 본논문의 저자들은 입력 역전 기법이 메모리 활용을 개선하고 장기 의존성 문제를 완화한 결과로 분석하였다.

3.6 모델 분석

LSTM 은닉 상태를 2차원 PCA로 투영한 결과, 의미적으로 유사한 문장들이 벡터 공간에서 가깝게 군집되었음을 확인하였다. 특히 능동태-수동태 변환에 대해 상대적으로 불변하면서도 어순에는 민감하게 반응하는 표현을 학습하였다. 이는 단순한 bag-of-words 모델로는 포착하기 어려운 구조적 의미 정보를 LSTM이 내재화하고 있음을 시사한다.

4. Related Work (관련 연구)

본 논문은 당시 신경망 기반 기계 번역 연구의 흐름 위에서 등장하였다.

Kalchbrenner & Blunsom (2013): 입력 문장을 벡터로 매핑한 최초의 시도. 단, CNN을 사용해 어순 정보가 손실되는 한계가 있었다.
Cho et al. (2014): LSTM 유사 RNN으로 문장 인코딩-디코딩을 수행하였으나, SMT 리스코어링 보조 역할에 국한되었고 장문장 성능이 부족하였다.
Bahdanau et al. (2014): 어텐션(attention) 메커니즘을 도입하여 장문장 성능 저하를 완화한 연구. 본 논문과 함께 현대 NMT(Neural Machine Translation)의 양대 기초 논문으로 평가된다.
Graves (2013): 차별화 가능한 어텐션 메커니즘을 처음 제안한 연구로, 본 모델도 Graves의 LSTM 공식을 따른다.
Hermann & Blunsom (2014): 피드포워드 네트워크로 인코딩-디코딩을 구현하였으나, 번역 생성을 직접 수행하지 못하고 사전 계산된 벡터 데이터베이스 탐색에 의존하는 한계를 가졌다.

5. Conclusion (결론 및 의의)

본 논문의 결론 어휘 크기 제한이 있고 구조적 가정을 거의 하지 않은 단순한 LSTM 기반 모델이, 수십 년간 정교하게 엔지니어링된 SMT 시스템을 대규모 번역 과제에서 처음으로 넘어설 수 있음을 증명하였다.

Key Point

인코더-디코더 프레임워크의 유효성: 고정 차원 벡터를 중간 표현으로 사용하는 end-to-end 학습이 시퀀스 변환 문제에서 실용적으로 동작함을 최초로 대규모로 입증하였다.
입력 역전의 중요성: 간단한 데이터 전처리 트릭이 최적화 문제의 구조를 근본적으로 개선할 수 있다는 교훈을 제공한다. 이는 문제 인코딩 방식이 학습 가능성에 결정적임을 시사한다.
깊이(depth)의 중요성: 4층 구조가 단층 대비 perplexity를 약 40% 감소시켰으며, 이는 이후 트랜스포머(Transformer) 등 심층 아키텍처 연구의 방향성과 일치한다.

[네이버클라우드캠프] 우리는 왜 네이버클라우드를 사용해야할까?

yenynb — Thu, 9 Jan 2025 23:30:05 +0900

안녕하세요

네이버클라우드캠프 서포터즈 2기 클로버 예니입니다!

오늘은 클라우드에 대해 자세히 알려드릴까해요

클라우드란?

현대 사회에서 클라우드 컴퓨팅 ️은

우리의 일상과 비즈니스 환경을 혁신하는 핵심 기술이 되었어요

그렇다면 클라우드 컴퓨팅(클라우드)가 무엇인가??!

저번 포스팅에서도 말씀드렸다시피

클라우드는 데이터를 저장하고, 애플리케이션을 실행하며

네트워크를 통해 다양한 서비스를 제공하는 기술을 의미합니다.

이러한 기술을 이용하게 된다면

IT자원을 우리의 컴퓨터! 하드웨어에 의존하지 않고도

유연하고 효율적으로 이용할 수 있다는 것이죠,,,

음..딥러닝을 하신다면 GPU자원을 컴퓨터 하드웨어에서만 사용하는게 아니라

네트워크를 통해 Server에서도 사용하잖아요?

이것도 클라우드에서 제공하는 하나의 서비스 입니다

클라우드 서비스의 특징

°온디맨드(On-Demand) 접근성

클라우드는 언제 어디서나 사용자가 접근할 수 있어요

기업과 개인은 대규모 인프라를 직접 구축하지 않아도

고성능의 IT 서비스를 이용할 수 있게 되는 것이죠

°확장성

클라우드는 트래픽 증가 또는 데이터 양의 변화에 따라

자원을 손쉽게 확장하거나 축소할 수 있어요!

이를 통해 비즈니스는 갑작스러운 수요 증가에도 대응할 수 있게됩니다.

°비용 효율성

초기 인프라 투자와 유지보수 비용을 절감할 수 있습니다.

사용자는 필요한 만큼만 비용을 지불하는

페이-퍼-유즈 모델을 통해 예산을 효율적으로 관리할 수 있습니다.

°데이터 보안과 백업

클라우드 서비스 제공업체는 최신 보안 기술과 백업 솔루션을 제공하여

데이터 유실과 사이버 위협으로부터 안전하게 보호합니다.

이 정도면 클라우드 한번 경험해봐도 좋을거 같죠?

국내 클라우드의 선두주자

네이버 클라우드

여러분들은 클라우드라고 하면 가장 먼저 떠오르는 기업은 어디인가요?

AWS(Amazon Web Services)

아마존일 것입니다!

하지만 ❗

국내에서 최대의 클라우드는 어느 기업인지 아시나요??!!

바로바로

❗네이버클라우드입니다❗

국내에서는 네이버 클라우드(NAVER Cloud)가 대표적인 클라우드 서비스 제공업체로,

한국 최대의 클라우드 인프라를 기반으로 안정적이고 신뢰성 높은 서비스를 제공합니다.

네이버클라우드에서는

다양한 산업에 특화된 솔루션과 글로벌 수준의 기술력을 바탕으로

네이버클라우드 서비스를 제공하고 있습니다.

네이버 클라우드를 이용해야하는 이유

✨우리는 왜 네이버클라우드를 이용해야하는가?✨

이제부터 제가 설명해드릴게요! ‍

다양한 서비스 제공

네이버 클라우드는 AI 및 데이터 분석, IoT, 보안 등 다양한 클라우드 기반 서비스를 제공합니다.

특히 AI 모델 개발과 데이터 분석을 위한 고급 도구를 제공하며,

사용자 친화적인 플랫폼으로 누구나 쉽게 접근할 수 있습니다.

안정성과 신뢰성

네이버 클라우드는 한국 내 최대 클라우드 데이터 센터를 운영하며,

기업이 필요로 하는 확장성과 보안성을 모두 충족하고 있습니다.

또한, 금융, 의료, 공공기관 등 높은 보안 기준을 요구하는 산업에서도 널리 사용되고 있다고 해요..

글로벌 확장과 경쟁력

네이버 클라우드는 한국을 넘어 글로벌 시장에서도 영향력을 확대하고 있습니다.

네이버의 글로벌 데이터 센터와 기술력을 활용해

국내외 기업에 효율적인 클라우드 서비스를 제공합니다.

이정도면 네이버 클라우드 이용하지 않을 이유가 없지 않나요??!

이처럼 클라우드는 개인과 기업 모두에게 무한한 기회를 제공하며,

디지털 전환의 가장 중요한 도구로 자리 잡고 있습니다.

네이버 클라우드와 함께 더 나은 디지털 세상을 만들어가길 기대합니다

✔️이러한 서비스들을 무료로 활용하고 싶으시다면

✔️부트캠프를 찾고계시다면

✔️취업을 위해 포트폴리오가 필요하시다면

네이버클라우드캠프를 이용하세요

✅ 신청 링크 안내

데브옵스 프로젝트 과정

‍ 개발자를 위해 스킬을 배우며

커리어를 한 단계 업그레이드할 수 있는 완벽한 기회!

신청 링크: https://navercloud.camp/?utm_source=clover_21&utm_medium=solo5&utm_campaign=2024_Clover_21_solo5&utm_id=2024_clover_21_solo5

네이버클라우드캠프 - 웹 풀스택 데브옵스 부트캠프

국내 1위 클라우드기업 네이버클라우드 주관, 학력이 아닌 능력으로 성장을 원하는 이들의 코딩 부트캠프, 웹 풀스택 , DevOps, MSA, AI

www.navercloud.camp

하이퍼스케일 개발자 과정

요즘 가장 화제인 ai 역량을 키우며

글로벌 환경에서 경쟁력을 확보하세요!

신청 링크: https://navercloud.camp/hyperscale?utm_source=clover_21&utm_medium=solo5&utm_campaign=2024_Clover_21_solo5&utm_id=2024_clover_21_solo5

네이버클라우드캠프-하이퍼스케일 AI 개발자 과정

국내 1위 클라우드 기업 네이버클라우드가 새롭게 선보이는 국내 최초 HyperClovaX & ChatGPT를 활용 코딩 부트캠프, 기업이 원하는 커스터마이징 챗봇 구축으로 웹개발과 AI 능력을 넘나드는 진정한

www.navercloud.camp

[네이버클라우드캠프]네이버 클라우드에 대해 알아보자! (Feat. 클라우드의 역사까지..)

yenynb — Thu, 12 Dec 2024 23:00:47 +0900

안녕하세요!!

네이버클라우드캠프 서프터즈 2기 황예은입니다⌯･֊･⌯ಣ

오늘은 네이버클라우드가 어떻게 지금까지 오게되었는지

그리고 네이버클라우드를 통해 우리는 무엇을 이용할 수 있는지에 대해

자세히 소개해볼까해요!!

네이버클라우드를 사용할 예정이시거나

관심이 많다!! 하시는 분들은

이번 포스팅 집중해 주세요

네이버 비즈니스 스쿨

먼저 네이버 클라우드에 대해 잘 알기 위해서

저는 네이버 비즈니스 스쿨에서 제공하는 강의를 이용했어요

이렇게 네이버 비즈니스 스쿨에서

"네이버클라우드 이해하기" 강의를 들었습니다!!

강의에 대해 이렇게 소개하고 있어요!!

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

비즈니스 스쿨은 이렇게 이용하시면 될 거 같아요ʕ¨̮ʔ

혹시 직접 듣고 싶으시다면 아래 링크 참고해주세요

https://bizschool.naver.com/online/course/65189/lecture/1461898?currentTab=curriculum

제가 강의를 수강한 내용을 소개해드릴게요

START!!

클라우드 역사

클라우드의 시초는 서버를 가상화 하는 것에서 시작되었다고 합니다!

위의 사진에서 보시는 것과 같이 하니의 리소스에

여러 서버를 가상화하여 OS를 동시에 실행할 수 있게 되는거죠..

이러한 클라우드는 위치와 역할에 따라서 나뉘게 되는데요

TYPE1을 살펴보게 되면 하드웨어 위에 HYPER VISOR가 올라가게 되고

그 위에 여러 개의 OS가 구동되는 구조입니다.

대표적으로는 Xen, KVM 등이 있습니다!

그와 반대로 TYPE2는 하드웨어가 올라가고 OS가 설치되고

그 위에 HYPER VISOR가 올라가는 구조입니다.

대표적 예시로는 VMware의 Workstation이 있습니다.

이뿐만 아니라 가상화 방식에 따라서도 분류가 되는데요..

전가상화와 반가상화로 나뉘게 됩니다.

전가상화는 하드웨어를 모두 가상화 시킨 것이라면

반가상화는 하드웨어를 전부 가상화 시킨 것이 아니기 때문에

게스트 OS가 하이퍼바이저를 통해 하드웨어 제어를 의뢰하게 되는거죠!

이렇게 강의를 들어보니

간단한 개념이지만 깊게 파고들려고 한다면..끝이 없을거 같네요..ㅎ

네이버클라우드 역사

그렇다면 이제 네이버클라우드의 역사는 어떤지 살펴볼까요?!!

네이버클라우드는

2011

Private Cloud 시작

2013

기업용 Cloud 시작

2017

Public Cloud 시작

현재

다양한 분야의 Cloud 진행중

(공공, 금융, 민간)

지속적으로 서비스 확장중..

이렇게 거쳐왔다고 합니다 (°∀°)b

이런 역사로 지금의 네이버클라우드가 있게 되었는데..

우리는 WHY??? 왜 클라우드를 이용해야 할까요??

첫 번째, 효율적인 비용절감

두 번째, 빠른 Deploy

세 번째, 글로벌 진출 시 용이

네 번째, 안전한 보안을 위해

이러한 장점들이라면 클라우드 사용할만 하지 않을까요?

⸜(*ˊᗜˋ*)⸝

네이버클라우드 상품소개

네이버클라우드를 이용해야할 이유가 충분하다면..

이제는 네이버클라우드에서 어떤 걸?? 이용해야할 지 살펴봐야겠죠?!

먼저 인프라 카테고리의 상품들을 소개해드릴게요

인프라만 해도 정말 많죠?ㅎㅎ

Compute

서버와 관련된 서비스들이 모여있습니다!

일반적인 VM Server와 함께 머신러닝이나 AI와 같이 대용량의 데이터들을 다룰 때

필요한 GPU Server도 제공하다고 합니다.. 이외에도 다양한 Server들이 제공이 된다고 합니다.

여담이지만.. GPU가 내장되어 있지 않는 노트북이 많아..꜀( ꜆>ᯅ<)꜆

전공생이나 관련 종사자들에게는 거의 필수죠

Container

컨테이너를 구동하는 이미지 저장/ 관리 서비스와

Kubernetes를 구성할 수 있는 서비스도 있습니다.

Global인프라

한국뿐만 아니라 다양한 국가들의 리전들을 제공하며

각 리전 간 실시간 Latency를 볼 수 있는 서비스도 제공하고 있습니다!

Storage

서버에 마운트해서 사용할 수 있도록 온라인 상에서

대량의 데이터를 사용할 수 있도록 하며, 이를 공유할 수 있도록 도와주는 서비스들 백업 서비스들이 있습니다.

Migration

외부에 있는 데이터를 네이버클라우드 플랫폼으로 이관할 때

시간과 비용을 절약하면서 이용할 수 있는 서비스입니다.

Networking

여러 VM간의 부하를 줄일 수 있거나

사용자만의 가상의 사설망을 구성할 수 잇는 등 다양한 서비스들이 있습니다.

Hybrid&Private Cloud

클라우드 구축하는 형태에서 하이브리드 형식을 사용할 수도 있다고 합니다!

Content Delivery

사용자들의 이미지와 같은 데이터를 안정적으로 공유할 수 있도록 CDN서비스를 진행하도록 도와줍니다.

다음은 플랫폼 서비스들입니다!!

Database

완전 관리형으로 제공되는 클라우드 데이터 서비스로 클릭 몇 번으로

데이터 베이스를 구현가능한 서비스들이 있습니다.

Analytics

대용량의 데이터를 손쉽게 분석할 수 잇는 하둡서비스,

Apache Kafka Cluster를 클릭 몇번으로 쉽게 생성하는 등 다양한 서비스들이 있다고 합니다!

Media

실시간으로 라이브 방송하거나 녹화 파일 영상을 VOD로 구현할 수 있는 서비스 제공,

웹사이트 등을 통해 플레이어 서비스 구현할 수 있도록 하는 서비스들로 구성되어 있습니다

등등 정말 다양한 서비스들이 있어요!!

애플리케이션과 이커머스 부문이에요!!

AI API

제공하는 AI서비스를 API로 제공하는 서비스입니다.

긴 문장을 요약해주는 CLOVA summary서비스가 많이 이용된다고 해요!!

AI Service

네이버 클라우드 서비스를 빌드업하여 제공하는 것이기에 서비스를

컴퓨터로 이용하실 수 있어요!!

자연어 처리를 기반으로 질의응답을 할 수 있는 Chatbot서비스 등이 있다고 해요

Application

어플리케이션에서는 재표적으로 API를 중앙 통합화하여 사용할 수 있는 서비스나 SNS나 푸시 알람을 보낼 수 있는 서비스 들이 있습니다!!

Biz Application

기업에서 사용할 수 있는 어플리케이션 서비스를 제공해요

화상미팅이나 기업용 파일 공유 서비스를 소스형태로 제공합니다.

Developer Tools

네이버 클라우드 상의 개발환경을 구현할 수 있는 서비스들입니다.

E-commerce

이커머스 서비스의 경우에는 마켓팝, 스토어팝과 같이

온라인 판매와 관련된 비즈니스를 구현할 수 있는 서비스입니다!

마지막으로는 관리/ 보안 부문입니다

Management&Governance Services

네이버클라우드 서비스를 관리할 때 용이하게 관리하기 위해

활용할 수 있는 서비스들이 모여진 부문이라고 합니다!

다양한 로그들을 분석하거나 웹서비스가 정상 동작하는 지 모니터링 서비스들이 있어요

Security

네이버클라우드의 보안관련 서비스들이 모여있어요!!

악성코드 여부를 판단하는 서비스나 SSL인증서를 등록하고 관리해주는 서비스 등등이 있습니다!

*서비스들 이용시 요금이 발생할 수 있습니다

이렇게 보니깐 다양한 분야에서 활용되는 서비스들이 정말 많지 않나요??

๑•̀ㅁ•́ฅ✧!!!

위의 정리한 내용을 바탕으로 원하시는 서비스들을

잘 활용하시면 좋을거 같아요☺️

소개해드린 대부분의 서비스를 무료로 이용하면서

개발/ AI지식과 프로젝트 경험도 쌓고

포트폴리오도 만드는 방법!!

모두들 아시나요⁈⁈

바로바로바로

네이버클라우드캠프를 이용하시는거에요!!

<데브옵스 - 개발자>

https://navercloud.camp/?utm_source=clover_21&utm_medium=solo4&utm_campaign=2024_Clover_21_solo4&utm_id=2024_clover_21_solo4

<하이퍼 스케일 - AI>

https://navercloud.camp/hyperscale?utm_source=clover_21&utm_medium=solo4&utm_campaign=2024_Clover_21_solo4&utm_id=2024_clover_21_solo4

ᰔ관심있으신 분들은 꼭 링크이용해서 한 번 둘러보세요ᰔ

다음에 더 유익한 정보들로 다시 찾아올게요˛ε♥з¸