Lựa chọn mô hình – Stepwise vs BMA
II. Một số phương pháp lựa chọn mô hình
Một số nguyên tắc/phương pháp nền tảng trong lựa chọn mô hình.
Một mô hình được lựa chọn đòi hỏi thỏa mãn một số nguyên tắc nhau:
- Không nên xây dựng các mô hình phức tạp cho những tập dữ liệu nhỏ.
- Thu thập bổ sung thêm dữ liệu để đặc tả tốt hơn cho mô hình.
- Đánh giá các mô hình được cho là tốt nhất. Nếu tất cả kết quả của chúng đều khác nhau thì không có một kết luận chắc chắn về mô hình nào sẽ phù hợp.
- Chọn một hoặc hai mô hình mà bạn đánh giá là phù hợp với nền tảng lý thuyết nhất.
- Sử dụng phương pháp hồi quy Stepwise
- Sử dụng các phương pháp lựa chọn theo tiêu chí như: AIC, BIC, \({R^2}\) hiệu chỉnh, Cp… để lựa chọn một mô hình phù hợp.
Phương pháp hồi quy Stepwise
Hai phương pháp thường được sử dụng nhất để lựa chọn mô hình trong hồi quy đa biến là hồi quy Stepwise và BMA (Bayesian Model Average).
1. Thuật toán hồi quy Stepwise
Thuật toán hồi quy Stepwise như sau: đưa hoặc loại bỏ lần lượt các biến trong mô hình đến khi mô hình không thể thêm hoặc bớt biến nào nữa. Cụ thể, ở mỗi bước kết quả thêm/bớt biến nào sẽ dựa trên giá trị thống kê F riêng phần (chính là giá trị thống kê t cho từng hệ số). Thuật toán Stepwise sẽ dừng khi không còn biến nào phù hợp trong tập biến của mô hình được thêm vào/bớt ra.
2. Phương pháp hồi quy Stepwise
Hồi quy stepwise là sự kết hợp giữa hồi quy stepwise thuận (forward) và hồi quy stepwise nghịch (backward), ở đó mỗi bước chúng ta đều có thể thêm hoặc bớt biến.
Phương pháp hồi quy Stepwise thuận (forward):
- Bắt đầu với mô hình không (không có biến giải thích nào)
- Tính toán giá trị p-value cho tất cả các biến. Chọn một biến có giá trị p-value thấp nhất để đưa vào mô hình. Giá trị p-value này phải nhỏ hơn mức ý nghĩa anpha xác định trước (thông thường là 10 – 15%).
- Lặp lại quá trình này cho các biến còn lại đến khi không còn biến phù hợp nào (p-value nhỏ hơn anpha) bên ngoài mô hình.
- Mô hình cuối cùng là mô hình tối ưu.
Phương pháp hồi quy Stepwise nghịch (backward):
- Bắt đầu mô hình với tất cả các biến đã xác định
- Loại bỏ biến có giá trị p-value cao nhất so với những biến còn lại. Đồng thời chạy lại hồi quy và tính toán các p-value mới cho các biến còn lại. Giá trị p-value này phải cao hơn mức ý nghĩa anpha xác định trước (thông thường là 10 – 15%).
- Lặp lại quá trình trên cho đến khi không còn biến nào không phù hợp (p-value lớn hơn anpha) tồn tại trong mô hình.
3. Nhận xét:
Ưu và nhược điểm của hồi quy Stepwise:
Hồi quy stepwise có ưu điểm là đơn giản, dễ dàng giải thích và dễ dàng sử dụng với sự hỗ trợ của rất nhiều phần mềm thống kê như SPSS, STATA, Eview, SAS… Hơn nữa, quá trình thực hiện hồi quy Stepwise không đòi hỏi tổng hợp nhiều kiến thức nền tảng (có thể đưa bất kì một biến nào ta nghĩ dường như nó có liên quan đến biến phụ thuộc mà không cần phải đọc các lý thuyết hoặc nghiên cứu trước đó).
Tuy nhiên, đây chính là nhược điểm lớn nhất của hồi quy Stepwise. Stepwise cho phép chúng đưa vào tất cả những biến có liên quan, do đó, điều này làm gia tăng khả năng mắc sai lầm của mô hình. Ngoài ra, với việc thêm/bớt từng biến nên mô hình cuối cùng sẽ khó đảm bảo là mô hình tối ưu. Đồng thời, kết quả của stepwise thuận (thêm biến: forward) và stepwise nghịch (bớt biến: backward) có thể khác nhau và tính đồng nhất trong kết quả của phương pháp khó đảm bảo.
Như vậy, để hồi quy Stepwise cho kết quả tin cậy thì đòi hỏi tất cả các biến quan trọng giải thích cho biến kết quả phải được xác định, hoặc tất cả các biến không quan trọng phải được loại bỏ khỏi mô hình. Bởi quá trình hồi quy Stepwise sẽ thực hiện kiểm tra rất nhiều lần ý nghĩa thống kê của hệ số ước lượng (thống kê t) vì vậy xác suất mắc sai lầm sẽ tăng khi mô hình tồn tại nhiều biến không quan trọng hoặc chúng ta không đưa vào những biến quan trọng. “… perhaps the most serious source of error lies in letting statistical procedures make decisions for you.” Good và Hardin[1] (2006 trang 3)
Xem thêm: https://www.vietlod.com/do-phu-hop-hoi-quy-stepwise