오늘은 convex set과 function들에 대해 다루어볼 예정입니다. convex set이 무엇인지 알아보기 전에, line segment가 무엇인지 알아보도록 하겠습니다.
Line segment
Line segment는 우리 말로 '선분' 입니다. 이제부터 선분을 수학적으로 정의해보도록 하겠습니다.
((x))와 ((y))라는 점이 있고, ((0)) ((\leq)) ((\lambda)) ((\leq 1)) 인 조건에서,
((\lambda))((x)) + (( (1 - \lambda) ))((y))
가 바로 line segment입니다.
왜 이렇게 표현되는고 하니, ((\lambda))가 1이 되면 그냥 ((x))점이고, ((\lambda))가 0이 되면 그냥 ((y))점이니, ((\lambda))가 변화함에 따라 주욱 이어지는, ((x))와 ((y))를 이어주는 표현이라고 보면 될 것 같습니다.
Convex Set
이제 이 line segment를 이용하여 convex set을 정의해보겠습니다.
((x)), ((y)) ((\in)) ((C)) 이고, ((0)) ((\leq)) ((\lambda)) ((\leq 1)) 일 때,
즉, 점 ((x))와 ((y))가 convex set인 집합 ((C)) 안에 속하고, ((\lambda))가 저 범위를 따를 때,
((\lambda))((x)) + (( (1 - \lambda) ))((y)) ((\in)) ((C))
인 집합 ((C))가 convex set입니다.
왼쪽은 선분을 그려보았을 때 모두 영역 안쪽에 속하므로 convex set입니다.
가운데는 선분을 그려보았을 때 ((C)) 안에 속하지 않는 부분이 있으므로 convex set이 아닙니다.
마지막도 마찬가지로 부분적으로 열려있는 구간들에서 선분을 그렸을 때 속하지 않으므로 convex set이 아닙니다.
Convex Functions
convex function은 convex set을 이용해서 정의됩니다.
먼저 ((d))차원의 실수공간에서 scalar 아웃풋(그냥 숫자)를 내는 함수에 대해서 이야기를 하고 있습니다. 이 함수가 convex이기 위해서는 ((dom))( ((f)) )으로 표현되는 함수의 정의역(함수의 입력으로 들어가는)이 convex set이어야 합니다.
그리고 ((x)), ((y)) ((\in)) ((dom))(((f))이고 ((0)) ((\leq)) ((\lambda)) ((\leq 1))일 때,
Line segment의 함숫값이 각각 점들의 함숫값으로 line segment를 만든 것 보다 항상 작아야합니다.
이게 바로 convex function의 정의입니다.
그림으로 한 번 볼까요?
바로 이 의미입니다. convex라는 뜻은 볼록하다는 뜻입니다. 볼록하다면 ((x))와 ((y))로 만든 점의 함숫값이 위의 직선보다 항상 작아야 합니다. 이 수학 공식은 바로 그것을 의미하고 있습니다.
Convex Optimization Problem
그렇다면 convex optimization problem이라는 것은 어떤 문제 상황일 때를 이야기하는 것인지도 알아봐야겠습니다.
내가 최소화시키고 싶은 함수가 convex function이고, 함수의 정의역이 convex set일 때를 convex optimization problem이라고 합니다.
Graph & Epigraph
Graph와 Epigraph가 수학적으로 어떻게 정의되는지, 무엇인지를 각각 알아보도록 하겠습니다.
Graph
함수의 그래프 할 때 그 그래프가 수학적으로 어떻게 정의되는지를 보겠습니다.
((d)) 차원의 실수공간에서 스칼라값을 하나 뱉어내는 함수의 그래프가 ((x)) 와 ((f(x))) 의 쌍으로 이루어진 집합을 일컽습니다. 물론 ((x))는 정의역에 속해야 합니다.
Epigraph
함수의 그래프 위에 있는 부분이 epigraph 입니다. 수식은 ((x))는 정의역에 속하고(x좌표 느낌), 그리고 y좌표들은 ((\alpha)) 들인데, 이 ((\alpha))들은 모두 ((f(x))) 이상이라는 것입니다.
Epigraph가 convex set일 경우 함수도 convex function이다.
그 반대도 마찬가지 입니다. iff는 if and only if라는 뜻이며, 동치라는 뜻입니다.
Convex Function의 종류들
