오늘은 MoCo에 대해서 다뤄볼 것이다. MoCo의 등장 배경은 이전 SimCLR에서 이어지는데, SimCLR의 한계점이 바로 large batchsize가 필요하다는 것이었다. 당연히 후속 연구들은 이러한 한계점을 개선하기 위한 노력을 하였고, MoCo가 내놓은 해결책은 이전 batch의 representation들을 저장하는 것이다. 이것이 바로 MoCo의 "Momentum contrast"이다. 참고로 Facebook AI research의 논문이며, 저자들 중에 Kaimimg He가 있는데, ReLU를 쓸 때 사용하는 He initialization의 그 사람 맞다. 원문링크: https://arxiv.org/abs/1911.05722 Momentum Contrast for Unsupervise..
Contrastive learning의 대표적 알고리즘 중 하나인 SimCLR에 대해서 알아보자. 교수님의 말씀에 따르면 내가 이 강의를 들을 당시 2~3년 전 연구자들, 지금으로 따지면 4~5년 전의 이미지 쪽 건드리는 연구자들에게는 필수였던 방법론이었다고 한다. 얘도 마찬가지로 positive pair는 당기고, negative pair는 미는 방식이다. 그럼 어떤 식으로 돌아가는 건지 본격적으로 알아보자. 참고로 저자들 중에 최근 노벨상 수상하신 Geoffrey Hinton이 있다. 원문링크: https://arxiv.org/abs/2002.05709 A Simple Framework for Contrastive Learning of Visual RepresentationsThis paper pre..
많은 양의 data는 있지만, data 자체만 있고 label은 없는, unlabeled data를 마주할 때 우리는 unsupervised learning을 사용한다. unsupervised learning은 label이 없기 때문에, 알고리즘 자체적으로 pretask를 만들어서 label처럼 사용한다. 기존에는 label이 데이터의 특징이나 카테고리를 알려주었다면, 이게 없기 때문에 pretask, 뭔가의 선제적 작업을 통해서 데이터를 좀 더 잘 이해하려는 노력이라고 볼 수 있다. Unsupervised Learning에는 두 가지 큰 틀이 있는데, 바로 1. Contrastive Learning (Self-supervised Learning)2. Reconstruction-based Learnin..
