머신러닝6 Deep residual learning for image recognition 논문 출처 : K. He, X. Zhang, S. Ren, J. Sun, Deep residual learning for image recognition, Proceedings of the IEEE conference on computer vision and pattern recognition (2016), pp. 770-778 딥러닝의 성능을 좌우하는 요소는 여러가지가 있다. 특히 통제 가능한 변수들을 하이퍼파라미터라고 하는데, 하이퍼파라미터의 최적값을 찾아가는 것이 딥러닝의 본질이기도 하다. 그러나 이러한 하이퍼파라미터를 조정하는 것 외에도, 신경망의 깊이 또한 딥러닝의 성능과 연관이 있다. 다만 한 가지 중요한 지점은 단순히 신경망의 깊이가 깊어진다고 해서 성능이 개선되지는 않는다는 것이다. 출처 .. 2023. 5. 3. DenseNet 앞서 살펴본 ResNet이 이전 layer 들의 feature 를 다음 layer 에 더해주는 방식이었다면, DenseNet은 전체 layer 를 모두 누적하여 쌓는 (concat) 방식이라고 할 수 있다. 출처 : Densely Connected Convolutional Networks DenseNet의 목적은 ResNet과 마찬가지로 기울기 소실 방지 및 파라미터의 수를 절약하여 연산 속도를 빠르게 하는 데 있다. DenseNet 에 활용되는 개념에는 아래와 같은 것이 있다. 1. Growth Rate DenseNet 또한 여러개의 feature 가 누적되는 개념이다 보니 channel 의 개수가 많은 경우 계속해서 channel 이 늘어날 수 있다. 따라서 DenseNet 에서는 각 layer fe.. 2023. 4. 30. Metric Learning and Triplet Loss 1. Transfer Learning Transfer Learning 은 하나의 task 를 해결하기 위해 학습된 모델을 다른 task 해결을 위해 재사용 하는 것을 의미한다. 이는 사람이 새로운 지식을 습득하는 과정에서 기존에 습득한 지식들을 활용하는 것과 비슷한 개념이다. 참조 : https://towardsdatascience.com/a-comprehensive-hands-on-guide-to-transfer-learning-with-real-world-applications-in-deep-learning-212bf3b2f27a A Comprehensive Hands-on Guide to Transfer Learning with Real-World Applications in Deep Learnin.. 2021. 3. 28. Few-Shot Learning 일반적인 딥러닝의 경우 데이터의 양이 많을수록 좋은 퍼포먼스를 보인다. 그러나 양질의 데이터를 확보하고 전처리하는 일련의 과정 자체가 많은 비용을 필요로 하는 작업이다. 때문에 작은 데이터를 사용하여서도 좋은 퍼포먼스를 보일 수 있는 방법에 대해 연구가 진행되었고, 그 과정에서 탄생한 것이 하나의 데이터를 통해서도 학습이 가능한 Few-Shot Learning 이다. Few-Shot Learning 에서는 데이터셋을 훈련에 사용하는 서포트 데이터와 테스트에 사용하는 쿼리 데이터로 구성한다. 서포트 데이터만을 사용하여 모델을 학습한 후, 쿼리 데이터를 통해 모델의 성능을 평가하게 된다. 출처 : https://neptune.ai/blog/understanding-few-shot-learning-in-com.. 2021. 3. 24. SENet SENet 은 기존의 VGGNet, GoogLeNet, ResNet 등에 SE block 을 결합하여 성능 향상을 이끌어 내는 개념이다. 성능 향상을 위해서는 필연적으로 연산량의 증가가 수반되나, SENet 을 사용하는 경우 연산량은 크게 늘지 않으면서도 정확도를 높일 수 있다. 출처 : Squeeze-and-Excitation Networks, Jie Hu, Li Shen, Gang Sun; Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 7132-7141 feature X 에 대해 convolution 을 처리한 feature U 를 생성한 뒤, U 에 대해 스퀴즈(squeeze.. 2021. 3. 22. Bottleneck layer CNN 에서 연산의 효율성을 높이기 위해 분석 대상의 크기를 축소하는 것을 pooling 이라고 한다. 이러한 pooling 작업은 feature 의 특징을 추출한 데이터의 사이즈를 줄여 연산량을 줄이고 효율성을 높이기 위한 작업이다. 그러나 분석의 대상이 3차원 데이터라면 해당 feature는 Channel 값을 갖게 된다. Channel 값이 많아지는 경우 연산에 걸리는 속도도 그만큼 증가할 수 밖에 없는데, 이때 Channel 의 차원을 축소하는 개념이 Bottleneck layer 이다. 기본적인 Convolution 파라미터는 아래와 같은 사이즈를 갖는다. Convolution Parameters = Kernel Size x Kernel Size x Input Channel x Output Ch.. 2021. 3. 20. 이전 1 다음
