Generalized Linear Models(GLMs)

 

GLM이란? / 모델은 어떻게 생겼는가

 

Generalized Linear Models (GLMs) are a flexible extension of ordinary linear regression models that allow for the response variable to have a non-normal distribution. 

 

여기서 response variable이란 Y(종속변수, 독립변수에 따라 변하는 값)을 뜻한다. 일반적인 선형회귀모델과는 다르게 종속변수가 non-normal 분포를 가질 수 있게 extend 해놓은 것이 GLM이다. 반대로 predictor variable이란 독립변수를 의미한다. 예를 들어, 집값을 예측하는 경우 집의 크기, 교통의 편의성, 집의 연식 등이 predictor variable, 집값이 response variable이라고 할 수 있다.

 

It is to unify various types of regression models, such as linear regression, logistic regression, and Poisson regression, under a single framework.

 

 

기본적으로 종속변수 Y의 분포(pdf)의 평균에 어떤 Link function g를 apply한 후, 이것이 linear predictor와 같다고 놓는 형태를 취하는 것으로 보인다. 물론 어떤 link function을 apply할 지, Y의 probability distribution은 어떤 형태로 가정할 지 등에 따라서 모델이 바뀐다. Y의 distribution은 Exponential Family 안에서 정할 수 있는 것으로 보인다.

 

 

Thus the model would look like above.

 

로지스틱 회귀 모델은 베르누이 분포를 가정하고 logit 함수를 링크 함수로 사용하는 GLM이다. 로지스틱 회귀에 사용되는 이항분포의 평균은 y가 1일 확률이다.

 

로지스틱 회귀의 경우로 예시를 들어보면,

 

 

이런 형태의 모델이 나올 수 있을 것이다.

 

 

각 독립변수들의 계수는 어떻게 구하는가 (β 구하기)

 

Training a Generalized Linear Model (GLM) involves estimating the model parameters (coefficients) that best fit the observed data. This process typically uses Maximum Likelihood Estimation (MLE) to find the parameter values that maximize the likelihood of observing the given data under the model.

 

예시로 logistic regression을 들어 β를 구해보도록 하자.

 

 

이렇게 log-likelihood를 구한 후 이를 maximize해서 계수들을 구하면 된다.

 

위는 로지스틱 회귀에 대한 예시이고, 

일반화 선형모형은 Iteratively Re-weighted Least Squares (IRLS) 방법으로 모델 파라미터를 추정한다.

IRIS는 비선형 회귀 문제를 선형 회귀 문제로 변환하여 해결하는 방식으로, 반복적으로 가중치를 조정하면서 최소제곱법(Least Squares)를 적용한다.

 

 

계속해서 beta를 업데이트 해나가면서 그 다음 베타와 이전 베타값의 차이가 일정 threshold 안으로 들어왔다면, 이를 convergence라고 취급하고 멈추는 최적화 과정이다.