공부합시다

알듯말듯하다. 일단 수학 수식 동영상보고 전개할 때는 이해가 되었는데 다시 보니 또 헷갈림... transformer처음볼때처럼 계속 봐줘야하나보다잉. 이런거 생각하는 사람 대단하다. #0. 사전 지식 - Nonequilibrium thermodynamics 비평형 열역학(non-equilibrium thermodynamics)으로 시간에 따라 변화하는 열역학적 과정을 연구한다. 이전에도 nonequilibrium thermodynamics 에서 영감을 받은 diffusion 계열 논문이 있었고 (Deep Unsupervised Learning using Nonequilibrium Thermodynamics), 이 논문에서 Reverse diffusion process를 통해 데이터를 복구하는 방식을 제..

DeepLab v1 VS v2 * 공통점: 모두 atrous convolution 과 fully connected CRF를 사용했다는 공통점이 있다. * 차이점: v2에서 multiple-scale에 대한 처리방법이 개선되었고(ASPP) Vgg-16 대신 resnet-101을 기본 망으로 사용해서 성능을 개선시킴. (V1 71.6% IOU -> v2 79.7%) DeepLab v2 Semantic segmentation과 같은 dene prediction task는 픽셀 단위의 예측이 필요해서 Classification net으로 segmentation net을 구성하면 feature map의 크기가 줄어들기 때문에 detail 정보를 얻는데 어려움이 있음. 그래서 net의 뒷 단에 있는 2개의 pool..

You Only Look Once: Unified, Real-Time Object Detection https://arxiv.org/pdf/1506.02640.pdf Background - fps: frame per second의 약자로 1초당 frame 수. mAP와 함께 Object detection의 또 다른 성능지표로 초당 detection하는 비율을 의미. 참고로 우리가 real time이라고 느끼는 fps는 30fps이다. 즉, 초당 연속적인 frame을 30개 이상 처리할 수 있어야. - non-maximum suppresion: object detector가 예측한 bounding box중 정확한 bounding box를 선택하도록 하는 기법 (출처: https://wikidocs.net/..

사실 이 paper의 대부분 내용은 residual mapping에 관한 것과 plain network와 residual network를 비교한 것이 다이긴 하다. 근데 아직도 정말 많이 쓰이는 모델인 ResNet에 대한 논문이라 한번쯤은 꼭 읽어보면 좋을 것 같다. 일단 초록 생략하고 바로 Introduction들어가자. 1. Introduction 본 논문에서 말하길 network의 depth는 성능에 있어 매우 중요하고 좋은 결과들은 very deep models(당시기준. depth of 16-30)에서 나왔다고 한다. Depth의 중요성에 따른 한 개의 질문이 생기는데 바로 아래의 질문이다. “Is learning better networks as easy as stacking more laye..

0. Backgrounds - minimax game algorithm "상대방의 최고의 수가 나에게 가장 최소의 영향을 끼치게 만들자." 본인 차례에서는 최선의 선택을 해야하며 똑똑한 상대방이 나에게 유리한 선택을 할 리가 없기에 상대방 차례에선 나에게 가장 최악의 선택을 하는 방식. - Saturation (포화) 예를 들어 sigmoid function의 경우 입력이 크거나 작을 때 기울기가 0에 가까워짐. 이렇게 activation function 구간에서 기울기(gradient)가 0에 가까워지는 현상을 saturated라고 하고 이는 vanishing gradient problem을 야기해 학습이 잘 안됨. - parametric model vs non-parametric model -> 수정..

이전에 학교 팀플 수업에서 segmentation model을 사용해 pixel별 u,v 값을 예측하도록 해 다중 조명에 대해 Auto White Balance 연구를 한 적이 있었다. 그때, semantic segmentation model들 논문(유넷,,, SWIN+UperNet)을 읽으면 관련 선행 연구로 FCN 모델이 자주 언급되었는데 드디어 제대로 FCN 논문을 읽게 되었다! 초록은 별 내용이 없어보이는데 한글 리뷰를 참고하지 않고 바로 논문을 읽으니 어려워서 유튜브랑 다른 사람들이 올린 리뷰를 참고해서 한번 정리해보았다!!! 큰 내용은 많이 없는데 정확하게 이해하는 것은 좀 어려웠던 것 같다! 논문 중간중간 등장하는 background 지식?으로 컴퓨터 비전 수업에서 배운 내용들이 나와서 좀 ..