The Methods to Move Beyond Linearity

지금까지는 선형 모델에 초점을 두었습니다.

선형 모델은 상대적으로 설명하고 실행하기 간단하고, 다른 방법에 비해 해석과 추론의 면에서 장점이 있습니다.

하지만, 일반적인 선형 모델은 예측 능력에 있어서 한계를 가질 수 밖에 없습니다.

따라서 이번에는 선형 모델을 확장시키는 방법인 polynomial(다항식) regression과 step functions 뿐만 아니라

splines, local regression, 그리고 generalized additive models를 다루도록 하겠습니다.

- Polynomial regression : 기존 predictor보다 더 큰 지수를 갖는 predictors를 추가함으로써 선형 모델을 연장시키는 방법

예를 들어, 3차 회귀식의 경우 를 predictor로 갖습니다.

- Step functions : Variable을 K 개의 영역으로 구분해 qualitative variable을 만드는 방법

- Regression spline : Polynomials와 step functions의 연장으로 더욱 유연한 모델을 만드는 방법

Variable을 K 개의 영역으로 구분한 후 각 영역 안에서 polynomial function을 data에 적합시킵니다.

하지만, 영역의 경계값(혹은 knots)에서 함수가 연속이어야 한다는 조건이 붙습니다.

영역을 충분히 나눈다면 매우 flexible한 적합을 할 수 있습니다.

- Smoothing splines : Regression splines와 비슷하지만, 살짝 다른 상황에서 사용됩니다.

Smoothing splines는 RSS(Residual Sum of Squares)를 최소화하는 과정에서 나타납니다.

- Local regression : Local regression은 splines와 비슷하지만 중요한 방법에 있어서 차이가 납니다.

영역은 오버랩될 수 있으며 매우 유연한 방법으로 이러한 작업을 수행합니다.

- Generalized additive models : 다수의 predictors를 다룰 수 있게끔 방법들(the methods)의 연장을 가능하게 해줍니다.

이번 카테고리의 초반에서는 1개의 predictor X와 response Y 사이의 관계를

flexible한 방법으로 모델링하는 방법들을 다루고

그 다음에는 이러한 방법들이 response Y와 여러 개의 predictors  의 사이의 관계를

모델링하기 위해 완벽하게 통합되는 방법들을 다루도록 하겠습니다.