Home | KTL cơ bản | Độ phù hợp hồi quy Stepwise
Quy trình thêm bớt biến hồi quy Stepwise
Quy trình thực hiện hồi quy Stepwsie trên Stata

Độ phù hợp hồi quy Stepwise

Sau khi sử dụng Stepwise thì ba biến có ý nghĩa thống kê được thêm vào mô hình gồm weight, foreign và length. Tôi sẽ sử dụng ba biến này làm ba biến giải thích trong câu lệnh nestreg tiếp theo theo đúng trật tự chúng hiển thị trong kết quả hồi quy Stepwise trên như sau:

. nestreg, quietly store(m): regress price weight foreign length if e(sample)

Block  1: weight
Block  2: foreign
Block  3: length

  +-------------------------------------------------------------+
  |       |          Block  Residual                     Change |
  | Block |       F     df        df   Pr > F       R2    in R2 |
  |-------+-----------------------------------------------------|
  |     1 |   29.42      1        72   0.0000   0.2901          |
  |     2 |   29.59      1        71   0.0000   0.4989   0.2088 |
  |     3 |    7.75      1        70   0.0069   0.5489   0.0499 |
  +-------------------------------------------------------------+

Kết quả là R – bình phương được cải thiện đáng kể ở mỗi bước thêm biến. Cụ thể bổ sung thêm biến foreign và length lần lượt là tăng R – bình phương thêm gần 0.21 và 0.05.

Giả sử, tôi muốn kiểm tra độ phù hợp của mô hình thông qua các chỉ số AIC/BIC thì trong trường hợp này, tôi sử dụng ước lượng tỉ lệ hợp lý cực đại (LR). Tôi có thể sử dụng câu lệnh nestreg để thực hiện ước lượng này như sau:

. nestreg, quietly lr: regress price weight foreign length if e(sample)

Block  1: weight
Block  2: foreign
Block  3: length

  +----------------------------------------------------------------+
  | Block |        LL       LR     df  Pr > LR       AIC       BIC |
  |-------+--------------------------------------------------------|
  |     1 | -683.0354    25.35      1   0.0000  1370.071  1374.679 |
  |     2 | -670.1448    25.78      1   0.0000   1346.29  1353.202 |
  |     3 | -666.2613     7.77      1   0.0053  1340.523  1349.739 |
  +----------------------------------------------------------------+

Ý NGHĨA VÀ CÁCH TÍNH TIÊU CHUẨN AIC, BIC

Akaike Information Criterion (AIC) và Bayesian Information Criterion (BIC) được tính

  • AIC = −2(loglikelihood) + 2(số các hệ số ước lượng).
  • BIC = −2(loglikelihood) + (log n)(số các hệ số ước lượng).

Đối với hồi quy tuyến tính, với giả định Gauss thì −2(loglikelihood) tỉ lệ với n*log(SSE/n). Vì thế tổng bình phương sai số chuẩn được giải thích bởi mô hình (SSE) càng nhỏ thì AIC và BIC càng lớn. Một mô hình đơn giản và đầy đủ phải là mô hình có trị số AIC hoặc BIC càng thấp càng tốt và các biến độc lập phải có ý nghĩa thống kê. Thành ra, vấn đề đi tìm một mô hình đơn giản và đầy đủ là thật sự đi tìm một (hay nhiều) mô hình với trị số AIC thấp nhất hay gần thấp nhất.

Như vậy, kết quả ước lượng theo tỉ lệ hợp lí cực đại bằng câu lệnh nestreg trên cho thấy độ phù hợp của mô hình ngày càng được cải thiện khi lần lượt bổ sung thêm các biến có ý nghĩa thống kê vào mô hình. Mô hình với 3 biến weight, foreign và length có độ phù hợp cao nhất ứng với các giá trị AIC/BIC nhỏ nhất.

Nguồn: The Stata Journal (2007, pp. 272–274)