오늘은 MoCo에 대해서 다뤄볼 것이다. MoCo의 등장 배경은 이전 SimCLR에서 이어지는데, SimCLR의 한계점이 바로 large batchsize가 필요하다는 것이었다. 당연히 후속 연구들은 이러한 한계점을 개선하기 위한 노력을 하였고, MoCo가 내놓은 해결책은 이전 batch의 representation들을 저장하는 것이다. 이것이 바로 MoCo의 "Momentum contrast"이다. 참고로 Facebook AI research의 논문이며, 저자들 중에 Kaimimg He가 있는데, ReLU를 쓸 때 사용하는 He initialization의 그 사람 맞다. 원문링크: https://arxiv.org/abs/1911.05722 Momentum Contrast for Unsupervise..
Contrastive learning의 대표적 알고리즘 중 하나인 SimCLR에 대해서 알아보자. 교수님의 말씀에 따르면 내가 이 강의를 들을 당시 2~3년 전 연구자들, 지금으로 따지면 4~5년 전의 이미지 쪽 건드리는 연구자들에게는 필수였던 방법론이었다고 한다. 얘도 마찬가지로 positive pair는 당기고, negative pair는 미는 방식이다. 그럼 어떤 식으로 돌아가는 건지 본격적으로 알아보자. 참고로 저자들 중에 최근 노벨상 수상하신 Geoffrey Hinton이 있다. 원문링크: https://arxiv.org/abs/2002.05709 A Simple Framework for Contrastive Learning of Visual RepresentationsThis paper pre..
많은 양의 data는 있지만, data 자체만 있고 label은 없는, unlabeled data를 마주할 때 우리는 unsupervised learning을 사용한다. unsupervised learning은 label이 없기 때문에, 알고리즘 자체적으로 pretask를 만들어서 label처럼 사용한다. 기존에는 label이 데이터의 특징이나 카테고리를 알려주었다면, 이게 없기 때문에 pretask, 뭔가의 선제적 작업을 통해서 데이터를 좀 더 잘 이해하려는 노력이라고 볼 수 있다. Unsupervised Learning에는 두 가지 큰 틀이 있는데, 바로 1. Contrastive Learning (Self-supervised Learning)2. Reconstruction-based Learnin..
오늘은 SSL, Self-supervised learning의 초기 발전 과정을 보여주는 논문을 하나 다뤄보려고 한다. SSL은 데이터에 label이 없을 때 사용하는 기법이다. 데이터가 부족할 때 사용하는 기법이 아니라, 데이터는 많지만 이에 대한 사람의 label이 존재하지 않을 때, SSL 기법을 통해 데이터의 "built-in" 한 특징을 label처럼 삼아서 마치 label이 존재하는 것처럼 대하는 것이다. 이를 Pseudo label이라고 한다. 보통은 우리가 메인으로 하는 task 이외에 pseudo-label을 만들 수 있는 다른 task, pretask를 하나 만드는 방법이 대표적이다. 일부로 일거리를 하나 만들고, 그 일거리를 해결함으로써 얻는 지식이 label처럼 되는 것이다. 이 논..
