Efficient Models

Efficient Models

[CVPR 2021] RepVGG: Making VGG-style ConvNets Great Again

오늘은 CNN에서 Multi-branch와 skip connection의 장점은 살리면서도 training time과 inference time에서의 모델 구조를 분리하여 연산량을 줄여 빠르고 단순한 구조로 바꾼 RepVGG에 대해서 알아보도록 하자. 이전에 발표를 한 경험이 있기에, 발표자료를 수록하도록 하겠다. Background 1. VGG-style ConvNet이 주는 장점 VGG 계열은 단순하고(Sequential), 깊고(Deep), 균일한(Uniform) 설계가 직관적이라, 구현/최적화/배포 측면에서 매력적이다.다만 성능 경쟁이 치열해지면서 Inception/ResNet처럼 분기(branch)가 있는 구조가 표준이 되었고, plain(VGG-style) 네트워크는 상대적으로 불리해지는 환..

Efficient Models

[CVPR 2020] Dynamic Convolution: Attention over Convolution Kernels

오늘은 Light-weight CNN에서 발생하는 performance degradation을 보완하기 위해 등장한 Dynamic Convolution 기법에 대해 알아보고자 한다. 원문링크: https://arxiv.org/abs/1912.03458 Dynamic Convolution: Attention over Convolution KernelsLight-weight convolutional neural networks (CNNs) suffer performance degradation as their low computational budgets constrain both the depth (number of convolution layers) and the width (number of chan..

ShinyJay
'Efficient Models' 카테고리의 글 목록