Paper Review

Attention Is All You Need해당 글과 그림의 출처는 lllustrated Transformer과 lllustrated Transformer(번역)을 참고하였습니다.이 글에서는 Attention을 활용한 모델인 Transformer에 대해 다룹니다. 우선 이 모델의 핵심을 정리한다면, multi-head self-attention을 이용해 sequential computation을 줄여 더 많은 부분을 병렬 처리가 가능하게 만들면서 동시에 더 많은 단어들 간 dependency를 모델링 한다는 것입니다. A High-Level Look전체적인 흐름을 먼저 살펴보겠습니다. 기계번역 모델은 특정 언어로 된 문장을 입력 받아 다른 언어로 번역한 문장을 출력합니다. 그 모델을 열어 보면, Enc..

R-CNN(Region proposals CNN) Rich feature hierarchies for accurate object detection and semantic segmentationObject detection performance, as measured on the canonical PASCAL VOC dataset, has plateaued in the last few years. The best-performing methods are complex ensemble systems that typically combine multiple low-level image features with high-level context. Iarxiv.orgAbstract본 논문에서는, 이전까지 최고의..

ResNet마이크로소프트 팀이 개발한 ResNet은 잔차(Residual) 라는 개념을 도입하였고, 그 결과 ILSVRC 2015에서 1위를 차지하였다. Abstract 딥러닝에서 신경망(Neural Network)이 깊을수록 Train은 더 어려워집니다. (오버 피팅이 발생할 확률이 높다.)그래서 ResNet 에서는 깊은 신경망에서도 training을 용이하게 하기 위한 residual learning framework(잔차 학습) 를 제시합니다.함수를 새로 만드는 방법 대신 residual function(잔차 함수)을 train에 사용하는 것으로 Layer를 재구성 합니다.ResNet의 residual 네트워크는 optimize를 더 쉽게 하고, 더 깊은 모델에서도 상당한 accuracy를 얻는 것..

잘못된 부분이 있다면 언제든지 알려주시면 감사하겠습니다 ! NOTION 정리https://repeated-canvas-49b.notion.site/AlexNet-ImageNet-Classification-with-Deep-Convolutional-Nerual-Networks-89d399c452f242a8a4b5e46bc6a75832 [AlexNet] ImageNet Classification with Deep Convolutional Nerual NetworksAlexNet은 ILSVRC의 2012년 대회에서 Top 5 test error 15.4%를 기록하여 1위를 차지한 네트워크이다.repeated-canvas-49b.notion.siteAlexNetImageNet Classification with..