yenynb 님의 블로그

[논문리뷰] ViT: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleAlexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsbyhttps://arxiv.org/pdf/2010.11929 1. Introduction1-1. ViT모델이 나타나게 된 배경당시에 NLP분야에서는 Transformer가 우세하고, Vision분야에서는 CNN가 우..

Faster R-CNN: Towards Real-Time Object Detectionwith Region Proposal Networks Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun 1. INTRODUCTION1.1 기존 R-CNN 계열의 문제점R-CNN기존의 R-CNN은 Selective Search를 통해 약 2,000개의 후보 영역(Region Proposal)을 생성해야 했고, 각 후보 영역마다 CNN을 개별 수행하였고 이 때문에 매우 느린 속도를 가진다는 한계를 가지고 있었다. Fast R-CNN이러한 문제를 해결하기 위해 Fast R-CNN이 나오게 되었다.Fast R-CNN은 이미지 전체에 대해 CNN feature map을 한 번만 추출..

논문 리뷰Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual RecognitionKaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sunhttps://arxiv.org/pdf/1406.4729 1. IntroductionSPPnet 등장배경기존 CNN 모델은 FC layer가 고정 길이 벡터를 요구 하기 때문에 고정 크기 입력을 전제로 설계가 되었다.→ 이를 위해 이미지에 crop, wrap을 적용한다.하지만 crop을 적용하게 되면 이미지를 자른 것이기에 전체 이미지 정보가 손실되는 문제가 발생하고,wrap을 적용하게 되면 비율 왜곡 발생하면서 이미지에 변형이 일어나게 된다. 이러한 문제를 해결하..

GPT-1Improving Language Understanding by Generative Pre-Training 1. Introduction 대부분의 딥러닝은 대규모의 라벨링 데이터 필요, 이는 다양한 도메인에서의 적용성 제한 → 이러한 문제를 해결하기 위해 비지도 학습방식 활용해 NLP 작업 성능 향상ex) 단어 임베딩 But 라벨링되지 않은 텍스트로부터 단어 수준 이상의 정보를 활용하는 것의 어려움어떤 목표가 가장 효과적인지 불분명하다학습된 표현을 목표 작업에 가장 효과적으로 전이하는 방법이 하나로 정해져 있지 않다.이에 따라 반지도 학습 방식을 이용하기에는 어렵다.Chat GPT 모델의 아키텍쳐는 Transformer를 활용한다. 이는 기계 번역, 문서 생성, 구문 분석 등에서 사용된다..

BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingJacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanovahttps://arxiv.org/abs/1810.04805 1. Introduction자연어 처리 작업의 성능을 향상시키기 위해 언어 모델 사전 학습이 효과적이다! 💡 자연어 처리 작업?문장 간 관계 예측이전에 썼던 단어와 다른 단어를 사용하여 표현하는 방식(paraphrasing)개체명 인식 및 질의응답 방식사전 학습된 언어표현을 자연어 처리에 적용하는 기존의 2가지 방식feature-based임베딩은 기존 방식으로 이용하되 그외 나머지 부분(레이어)을 ..

ELMo 논문 리뷰https://arxiv.org/abs/1802.05365논문명: Deep Contextualized Word Representations저자: Matthew E. Peters et al. (2018)1. IntroductionELMo(Embeddings from Language Models)는 단어를 고정된 하나의 벡터로 표현하던 기존 Word2Vec, GloVe의 한계를 극복하기 위해 제안된 문맥 기반(Contextualized) 단어 임베딩 모델이다. 기존 임베딩은 하나의 단어가 항상 동일한 벡터를 가지므로 다의어(polysemy)를 충분히 반영하지 못했다. 예를 들어 bank는 “은행”과 “강둑”이라는 서로 다른 의미를 가지지만, 기존 임베딩은 이를 하나의 벡터로만 표현했다. E..

Neural Machine Translation by Jointly Learning to Align and Translate (Bahdanau et al., 2015) Attention 논문https://arxiv.org/abs/1409.0473 1. Introduction지금의 Transformer, BERT, GPT와 같은 모델에서 Attention은 핵심 연산이다.하지만 이전에는 Encoder–Decoder 구조에 기반하고 있어 당시 표준적인 Seq2Seq 모델은 입력 문장을 하나의 고정 길이 벡터 압축한 뒤, Decoder가 이를 기반으로 번역 문장을 생성하는 구조였다. 이 방식은 구조적으로 단순했지만, 문장이 길어질수록 성능이 급격히 저하되는 문제가 있었다.이 논문의 핵심은 기존 Encoder..

Sequence to Sequence Learning with Neural Networks Sequence to Sequence Learning with Neural Networks 논문https://arxiv.org/abs/1409.3215 1. Introduction기존 심층신경망(DNN)은 큰 네트워크의 경우에는 충분히 학습된 역전파를 사용하여 훈련하며 이미지 인식 등에서 뛰어난 성능을 보였지만 고정된 차원의 입력과 출력에만 적용 가능하다.그러나 번역, 음성 등은 길이가 사전에 알려지지 않은 가변 길이 시퀀스로 표현되기 때문에 긴 시퀀스의 학습과 정보손실 문제에서 한계가 존재하게 된다.Key Idea본 논문에서는 LSTM(Long Short-Term Memory) 아키텍처를 직접적으로 적용해 일반적..

안녕하세요🙌네이버클라우드캠프 서포터즈 2기 클로버🍀 예니입니다!  오늘은 클라우드에 대해 자세히 알려드릴까해요🧐 클라우드란?  현대 사회에서 클라우드 컴퓨팅🖥️은 우리의 일상과 비즈니스 환경을 혁신하는 핵심 기술이 되었어요 그렇다면 클라우드 컴퓨팅(클라우드)가 무엇인가??! 저번 포스팅에서도 말씀드렸다시피 클라우드는 데이터를 저장하고, 애플리케이션을 실행하며 네트워크를 통해 다양한 서비스를 제공하는 기술을 의미합니다. 이러한 기술을 이용하게 된다면 IT자원을 우리의 컴퓨터! 하드웨어에 의존하지 않고도유연하고 효율적으로 이용할 수 있다는 것이죠,,,  음..딥러닝을 하신다면 GPU자원을 컴퓨터 하드웨어에서만 사용하는게 아니라네트워크를 통해 Server에서도 사용하잖아요?이것도 클라우드에서 제공하는 ..

안녕하세요!!네이버클라우드캠프 서프터즈 2기 황예은입니다⌯･֊･⌯ಣ​​오늘은 네이버클라우드가 어떻게 지금까지 오게되었는지그리고 네이버클라우드를 통해 우리는 무엇을 이용할 수 있는지에 대해자세히 소개해볼까해요!!​​네이버클라우드를 사용할 예정이시거나관심이 많다!! 하시는 분들은🪄이번 포스팅 집중해 주세요🪄​​네이버 비즈니스 스쿨​​​먼저 네이버 클라우드에 대해 잘 알기 위해서 저는 네이버 비즈니스 스쿨에서 제공하는 강의를 이용했어요👍​이렇게 네이버 비즈니스 스쿨에서"네이버클라우드 이해하기" 강의를 들었습니다!!강의에 대해 이렇게 소개하고 있어요!!​​  비즈니스 스쿨은 이렇게 이용하시면 될 거 같아요ʕ¨̮ʔ​​혹시 직접 듣고 싶으시다면 아래 링크 참고해주세요👇👇👇 https://bizschool..