최소 자승법 (OLS, Ordinary Least Squares Method)

최소제곱법, 또는 최소자승법, 최소제곱근사법, 최소자승근사법(method of least squares, least squares approximation)

---

OLS(Ordinary Least Squares) 분석은 회귀 분석의 한 방법으로, 주어진 데이터에 가장 적합한 직선을 찾아내는 데 사용됩니다.

이 방법은 독립 변수와 종속 변수 간의 관계를 모델링하여 예측할 수 있도록 도와줍니다. OLS는 주로 다음과 같은 과정을 포함합니다:

1. 모델 정의

   - 일반적인 (다중) 선형 회귀 모델은 다음과 같은 형태로 표현됩니다:
     \[
     Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + ... + \beta_nX_n + \epsilon
     \]
     여기서:
     - \( Y \): 종속 변수
     - \( X_1, X_2, ..., X_n \): 독립 변수
     - \( \beta_0 \): 절편 (intercept)
     - \( \beta_1, \beta_2, ..., \beta_n \): 기울기 (coefficients)
     - \( \epsilon \): 오차항 (error term)

 

2. 최소 제곱법

   - OLS의 주요 목표는 오차의 제곱합을 최소화하는 것입니다. 즉, 실제 값과 예측 값 간의 차이를 제곱하여 모두 더한 값을 최소화합니다.

이를 수식으로 표현하면:
     \[
     \text{minimize} \quad \sum (Y_i - \hat{Y_i})^2
     \]
     여기서 \( \hat{Y_i} \)는 예측된 값입니다.

 

3. 회귀 계수 추정

   - OLS 분석을 통해 기울기 (\( \beta \))와 절편 (\( \beta_0 \))을 추정합니다.

이러한 계수는 데이터의 관계를 나타내며, 독립 변수가 종속 변수에 미치는 영향을 해석하는 데 사용됩니다.

 

4. 모델 평가

   - 모델의 적합성을 평가하기 위해 여러 가지 지표를 사용할 수 있습니다. 일반적으로 사용되는 지표는 다음과 같습니다:
     - R-squared: 모델이 데이터를 얼마나 잘 설명하는지를 나타내는 비율입니다.
     - F-test: 전체 회귀 모델의 유의성을 검정합니다.
     - t-test: 각 회귀 계수의 유의성을 검정합니다.

 

5. 가정 검토

   OLS는 몇 가지 가정을 기반으로 합니다:
   - 선형성: 독립 변수와 종속 변수 간의 관계가 선형이다.
   - 독립성: 오차항은 서로 독립적이다.
   - 등분산성: 오차항의 분산이 일정하다.
   - 정규성: 오차항이 정규 분포를 따른다.

이러한 가정을 검토하여 모델이 적합한지를 확인합니다. 

 

6. 예측 및 해석

   - 회귀 모델을 사용하여 새로운 데이터를 예측하고, 회귀 계수를 해석하여 각 독립 변수가 종속 변수에 미치는 영향을 설명합니다.

OLS 분석은 통계학과 머신러닝에서 널리 사용되며, 데이터 분석 및 예측에 유용한 도구입니다.

데이터 분석을 진행하기 위해서는 R, Python 등 다양한 프로그래밍 언어와 라이브러리를 활용할 수 있습니다.

예를 들어, Python의 `statsmodels` 또는 `scikit-learn` 라이브러리를 사용할 수 있습니다.

 

 

7. 예시

 

변수가 하나인 경우의 OLS(Ordinary Least Squares) 분석에 대해 설명하기 위해 간단한 예시를 들어 보겠습니다.

집의 면적과 가격 간의 관계를 분석하는 경우를 생각해 보겠습니다.

 

예시: 집 가격 예측

 

데이터 설정  
다음과 같은 데이터를 가정해 보겠습니다:

| 집 면적 (X, 제곱미터) | 집 가격 (Y, 백만 원) |
|----------------------|----------------------|
| 50                 | 30                  |
| 60                 | 35                  |
| 70                 | 40                  |
| 80                 | 50                  |
| 90                 | 55                  |

 

 

1. 모델 정의

이 경우, 종속 변수 \(Y\)는 집 가격, 독립 변수 \(X\)는 집 면적입니다. 선형 회귀 모델은 다음과 같이 정의할 수 있습니다:

\[
Y = \beta_0 + \beta_1X + \epsilon
\]

여기서:
- \(Y\): 집 가격
- \(X\): 집 면적
- \(\beta_0\): 절편 (intercept)
- \(\beta_1\): 기울기 (slope)
- \(\epsilon\): 오차항

 

2. 최소 제곱법

OLS의 목표는 오차 제곱합을 최소화하는 것입니다.

각 데이터 포인트에 대해 예측된 가격과 실제 가격 간의 차이를 제곱하여 모두 더한 값을 최소화합니다.

 

상세 계산 과정은 댓글을 참고해 주세요. 

 

3. 회귀 계수 추정

일반적으로 R 또는 Python과 같은 프로그래밍 언어를 사용하여 회귀 분석을 수행합니다.

import numpy as np

# 데이터 설정
X = np.array([50, 60, 70, 80, 90])
Y = np.array([30, 35, 40, 50, 55])

# 평균 계산
X_mean = np.mean(X)
Y_mean = np.mean(Y)

# 기울기 (beta_1) 계산
numerator = np.sum((X - X_mean) * (Y - Y_mean))
denominator = np.sum((X - X_mean)  2)
beta_1 = numerator / denominator

# 절편 (beta_0) 계산
beta_0 = Y_mean - beta_1 * X_mean

# 결과 출력
print(f"기울기 (beta_1): {beta_1}")
print(f"절편 (beta_0): {beta_0}")

 

기울기 (beta_1): 0.65
절편 (beta_0): -3.5

 

Python의 `statsmodels` 라이브러리를 사용하여 OLS 회귀 분석을 수행할 수 있습니다. 아래는 `statsmodels`를 사용한 간단한 예제 코드입니다.

 

OLS 회귀 분석 예제

먼저, 필요한 라이브러리를 설치해야 합니다. 만약 `statsmodels`가 설치되어 있지 않다면 다음 명령어로 설치할 수 있습니다.

 

코드 예제

import numpy as np
import pandas as pd
import statsmodels.api as sm

# 데이터 설정
X = np.array([50, 60, 70, 80, 90])
Y = np.array([30, 35, 40, 50, 55])

# X를 데이터프레임으로 변환하고 상수항 추가
X = sm.add_constant(X)  # 절편을 위해 상수항 추가

# OLS 모델 적합
model = sm.OLS(Y, X)
results = model.fit()

# 결과 출력
print(results.summary())

 

코드 설명

1. 데이터 설정: 집 면적(X)과 집 가격(Y)의 데이터를 NumPy 배열로 설정합니다.

2. 상수항 추가: `sm.add_constant(X)`를 사용하여 상수항을 추가합니다. 이는 회귀 방정식에서 절편을 추정하는 데 필요합니다.

3. OLS 모델 적합: `sm.OLS(Y, X)`를 통해 OLS 모델을 정의하고, `fit()` 메서드를 사용하여 모델을 적합시킵니다.

4. 결과 출력: `results.summary()`를 호출하여 회귀 분석 결과를 요약하여 출력합니다.

 

출력 예시

실행하면 다음과 같은 결과를 얻을 수 있습니다:

OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       0.980
Model:                            OLS   Adj. R-squared:                  0.976
Method:                 Least Squares   F-statistic:                     255.2
Date:                ...              Prob (F-statistic):           3.86e-05
Time:                        ...      Log-Likelihood:                -7.3058
No. Observations:                   5   AIC:                             18.62
Df Residuals:                       3   BIC:                             18.63
Df Model:                           1                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
const        -3.5000      4.077     -0.859      0.439     -14.260       7.260
x1           0.6500      0.041     16.007      0.000       0.561       0.739
==============================================================================
Omnibus:                        0.893   Durbin-Watson:                   2.672
Prob(Omnibus):                  0.638   Jarque-Bera (JB):                0.633
Skew:                          -0.614   Prob(JB):                        0.428
Kurtosis:                       1.526   Cond. No.                         270.
==============================================================================

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

 

 

4. 모델 해석

 

주요 결과 해석

- coef: `const`는 절편 \(\beta_0\) -3.5 이고, `x1`는 기울기 \(\beta_1\) 0.65 입니다. 출력된 값이 수동 계산 결과와 일치합니다.

- R-squared: 모델의 설명력을 나타냅니다. 1에 가까울수록 모델이 데이터 변동성을 잘 설명한다는 의미입니다.

이 과정을 통해 `statsmodels`를 사용하여 OLS 회귀 분석을 수행하고 결과를 해석할 수 있습니다. 

 

5. 예측

이제 이 모델을 사용하여 새로운 집 면적에 대한 가격을 예측할 수 있습니다. 예를 들어, 면적이 75 제곱미터인 집의 가격을 예측하면:

\[
\hat{Y} = -3.5 + 0.65 \times 75 = 42.25 \text{ 백만 원}
\]

 

6. 가정 검토

OLS 분석을 통해 얻은 모델이 유효한지 확인하기 위해서는 다음과 같은 가정을 검토해야 합니다:
- 선형성: 독립 변수와 종속 변수 간의 관계가 선형인지 확인합니다.
- 독립성: 오차항이 서로 독립적인지 확인합니다.
- 등분산성: 오차항의 분산이 일정한지 확인합니다.
- 정규성: 오차항이 정규 분포를 따르는지 확인합니다.

이렇게 해서 변수 하나인 경우의 OLS 분석에 대해 설명해 보았습니다. 이 방법은 데이터 분석, 예측 및 통계적 모델링에서 매우 유용하게 활용됩니다.

 

---

참고 링크

https://ko.wikipedia.org/wiki/%EC%B5%9C%EC%86%8C%EC%A0%9C%EA%B3%B1%EB%B2%95

http://navercast.naver.com/contents.nhn?rid=22&contents_id=3352