Hồi quy tuyến tính – OLS – Stata

13/11/2014

4 phút

Phương pháp ước lượng OLS cho mô hình hồi quy tuyến tính

Xét trường hợp hồi quy tuyến tính giản đơn có dạng như sau: \(Y = {\beta _0} + {\beta _1}X + \varepsilon \)

Nguyên tắc của phương pháp là tối thiểu hóa tổng sai số bình phương (\(\sum\limits_{i = 1}^n {e_i^2 = } \)):

\(\sum\limits_{i = 1}^n {e_i^2 = } {\sum\limits_{i = 1}^n {\left( {{Y_i} – {{\hat Y}_i}} \right)} ^2}\)

Trong đó: \(\hat Y = {b_0} + {b_1}X \) là giá trị dự báo của mô hình hồi quy tuyến tính

Minh họa hồi quy tuyến tính giản đơn

Giải hệ phương trình đồng thời trên, chúng ta sẽ có

Bộ tham số \({b_0}\), \({b_1}\) là ước lượng của các tham số tổng thể \({\beta _0}\), \({\beta _1}\).
Ước lượng sai số của tổng thể \(\varepsilon \) là sai số ước lượng e. Và e được tính bằng \(e = Y – \hat Y\)
Ước lượng phương sai của sai số (MSE) được tính từ sai số ước lượng e: \(S_e^2 = \frac{{\sum\limits_{i = 1}^n {{e_i}} }}{{n – k}}\)

Trong đó: n là số quan sát và k là số các hệ số được ước lượng (bao gồm cả hệ số cắt \({b_0}\)).

Sai số chuẩn của mô hình hồi quy (Root MSE) chính là căn bậc 2 của ước lượng phương sai của sai số.

Từ sai số chuẩn (Root MSE) này chúng ta có tính được các sai số chuẩn của các hệ số hồi quy:

\({S_{b1}} = \frac{{{s_e}}}{{\sqrt {TSS_X} }}\)
\({S_{b0}} = {s_e}\sqrt {\frac{1}{n} + \frac{{{{\bar X}^2}}}{{TSS_X}}} \)

Trong đó: \({TSS_X} = \sum {{{({X_i} – \bar X)}^2}} \)

Mô hình hồi quy tuyến tính đa biến, 2 biến chẳng hạn, cũng được ước lượng theo nguyên tắc đã trình bày ở mô hình hồi quy tuyến tính giản đơn đã trình bày ở trên. Tuy nhiên, trong trường hợp này, thay vì giải pháp là tìm một đường thẳng hồi quy không chệch tốt nhất cho dữ liệu thì ở hồi quy tuyến tính đa biến sẽ là tìm một mặt phẳng không chệch tốt nhất.

Phân biệt hồi quy tuyến tính giản đơn với hồi quy tuyến tính đa biến:

Minh họa hồi quy tuyến tính giản đa biến