Akaike Information Criterion là gì

Tiêu chí thông tin Akaike [AIC] là công cụ ước tính sai số dự đoán và do đó chất lượng tương đối của các mô hình thống kê cho một tập hợp dữ liệu nhất định. Đưa ra một bộ sưu tập các mô hình cho dữ liệu, AIC ước tính chất lượng của từng mô hình, so với từng mô hình khác. Do đó, AIC cung cấp một phương tiện để lựa chọn mô hình. AIC được thành lập trên lý thuyết thông tin. Khi một mô hình thống kê được sử dụng để biểu diễn quá trình tạo ra dữ liệu, thì việc biểu diễn sẽ hầu như không bao giờ chính xác; vì vậy một số thông tin sẽ bị mất khi sử dụng mô hình để đại diện cho quá trình. AIC ước tính lượng thông tin tương đối bị mất của một mô hình nhất định: mô hình nào bị mất càng ít thông tin thì chất lượng của mô hình đó càng cao. Khi ước tính lượng thông tin bị mất bởi một mô hình, AIC đề cập đến sự cân bằng giữa tính phù hợp của mô hình và tính đơn giản của mô hình. Nói cách khác, AIC đối phó với cả rủi ro trang bị quá mức và rủi ro trang bị thiếu. Tiêu chí thông tin Akaike được đặt theo tên của nhà thống kê người Nhật Bản Hirotugu Akaike, người đã xây dựng nó. Bây giờ nó tạo thành cơ sở của một mô hình cho nền tảng của thống kê và cũng được sử dụng rộng rãi để suy luận thống kê.

Định nghĩa

Giả sử rằng chúng ta có một mô hình thống kê của một số dữ liệu. Gọi k là số tham số ước lượng trong mô hình. Để cho L ^ {\ displaystyle {\ hat {L}}} là giá trị lớn nhất của hàm khả năng cho mô hình. Sau đó, giá trị AIC của mô hình là như sau. MỘT tôi C 2 k - 2 ln ⁡ [ L ^ ] {\ displaystyle \ mathrm {AIC} \, \, 2k-2 \ ln [{\ hat {L}}]} Đưa ra một tập hợp các mô hình ứng viên cho dữ liệu, mô hình được ưu tiên là mô hình có giá trị AIC tối thiểu. Do đó, AIC thưởng cho sự phù hợp tốt [như được đánh giá bởi hàm khả năng], nhưng nó cũng bao gồm một hình phạt là một hàm ngày càng tăng của số lượng các tham số ước tính. Hình phạt không khuyến khích việc trang bị quá mức, điều này được mong muốn bởi vì việc tăng số lượng thông số trong mô hình hầu như luôn cải thiện độ tốt của sự vừa vặn. AIC được thành lập trên lý thuyết thông tin. Giả sử rằng dữ liệu được tạo ra bởi một quá trình chưa biết nào đó f. Chúng tôi xem xét hai mô hình ứng cử viên để đại diện cho f: g1 và g2. Nếu chúng ta biết f, thì chúng ta có thể tìm thấy thông tin bị mất từ ​​việc sử dụng g1 để biểu diễn f bằng cách tính toán phân kỳ Kullback-Leibler, DKL [f ‖ g1]; tương tự, thông tin bị mất từ ​​việc sử dụng g2 để biểu diễn f có thể được tìm thấy bằng cách tính DKL [f ‖ g2]. Sau đó, chúng tôi nói chung sẽ chọn mô hình ứng cử viên để giảm thiểu mất mát thông tin. Chúng ta không thể chọn một cách chắc chắn, bởi vì chúng ta không biết f. Tuy nhiên, Akaike [1974] đã chỉ ra rằng chúng ta có thể ước tính, thông qua AIC, lượng thông tin bị mất nhiều hơn [hoặc ít hơn] theo g1 so với g2. Tuy nhiên, ước tính chỉ có giá trị tiệm cận; nếu số lượng điểm dữ liệu nhỏ, thì một số hiệu chỉnh thường là cần thiết [xem AICc, bên dưới]. Lưu ý rằng AIC không nói gì về chất lượng tuyệt đối của một mô hình, chỉ nói về chất lượng so với các mô hình khác. Vì vậy, nếu tất cả các mô hình ứng cử viên phù hợp kém, AIC sẽ không đưa ra bất kỳ cảnh báo nào về điều đó. Do đó, sau khi lựa chọn một mô hình thông qua AIC, thông thường tốt là xác nhận chất lượng tuyệt đối của mô hình đó. Việc xác nhận như vậy thường bao gồm kiểm tra phần dư của mô hình [để xác định xem phần dư có giống ngẫu nhiên hay không] và kiểm tra các dự đoán của mô hình. Để biết thêm về chủ đề này, hãy xem xác thực mô hình thống kê.

Cách sử dụng AIC trong thực tế

Để áp dụng AIC trong thực tế, chúng tôi bắt đầu với một tập hợp các mô hình ứng viên, sau đó tìm các giá trị AIC tương ứng của các mô hình đó. Hầu như sẽ luôn có thông tin bị mất do sử dụng mô hình ứng cử viên để trả lời

AIC có nghĩa là gì? AIC là viết tắt của Tiêu chuẩn thông tin Akaike. Nếu bạn đang truy cập phiên bản không phải tiếng Anh của chúng tôi và muốn xem phiên bản tiếng Anh của Tiêu chuẩn thông tin Akaike, vui lòng cuộn xuống dưới cùng và bạn sẽ thấy ý nghĩa của Tiêu chuẩn thông tin Akaike trong ngôn ngữ tiếng Anh. Hãy nhớ rằng chữ viết tắt của AIC được sử dụng rộng rãi trong các ngành công nghiệp như ngân hàng, máy tính, giáo dục, tài chính, cơ quan và sức khỏe. Ngoài AIC, Tiêu chuẩn thông tin Akaike có thể ngắn cho các từ viết tắt khác.

Tìm kiếm định nghĩa chung của AIC? AIC có nghĩa là Tiêu chuẩn thông tin Akaike. Chúng tôi tự hào để liệt kê các từ viết tắt của AIC trong cơ sở dữ liệu lớn nhất của chữ viết tắt và tắt từ. Hình ảnh sau đây Hiển thị một trong các định nghĩa của AIC bằng tiếng Anh: Tiêu chuẩn thông tin Akaike. Bạn có thể tải về các tập tin hình ảnh để in hoặc gửi cho bạn bè của bạn qua email, Facebook, Twitter, hoặc TikTok.

Ý nghĩa của AIC bằng tiếng Anh

Như đã đề cập ở trên, AIC được sử dụng như một từ viết tắt trong tin nhắn văn bản để đại diện cho Tiêu chuẩn thông tin Akaike. Trang này là tất cả về từ viết tắt của AIC và ý nghĩa của nó là Tiêu chuẩn thông tin Akaike. Xin lưu ý rằng Tiêu chuẩn thông tin Akaike không phải là ý nghĩa duy chỉ của AIC. Có thể có nhiều hơn một định nghĩa của AIC, vì vậy hãy kiểm tra nó trên từ điển của chúng tôi cho tất cả các ý nghĩa của AIC từng cái một.

Định nghĩa bằng tiếng Anh: Akaike Information Criterion

Bên cạnh Tiêu chuẩn thông tin Akaike, AIC có ý nghĩa khác. Chúng được liệt kê ở bên trái bên dưới. Xin vui lòng di chuyển xuống và nhấp chuột để xem mỗi người trong số họ. Đối với tất cả ý nghĩa của AIC, vui lòng nhấp vào "thêm ". Nếu bạn đang truy cập phiên bản tiếng Anh của chúng tôi, và muốn xem định nghĩa của Tiêu chuẩn thông tin Akaike bằng các ngôn ngữ khác, vui lòng nhấp vào trình đơn ngôn ngữ ở phía dưới bên phải. Bạn sẽ thấy ý nghĩa của Tiêu chuẩn thông tin Akaike bằng nhiều ngôn ngữ khác như tiếng ả Rập, Đan Mạch, Hà Lan, Hindi, Nhật bản, Hàn Quốc, Hy Lạp, ý, Việt Nam, v.v.

Nhược điểm lớn nhất của hồi quy Stepwise là cho phép các biến không có liên quan vào trong mô hình, do vậy, hồi quy Stepwise có thể tạo ra các mối quan hệ ảo hay tác động giả lên biến phụ thuộc trong mô hình.

Xem thêm: //www.vietlod.com/lua-chon-mo-hinh-stepwise-vs-bma

Hồi quy Stepwise chỉ được khuyến khích sử dụng khi các biến đưa vào trong mô hình được sử hỗ trợ vững chắc của các lý thuyết liên quan đến vấn đề nghiên cứu. Trong trường hợp này, để đánh giá sự cải thiện độ phù hợp của mô hình thông qua các chỉ số như R – bình phương hoặc các chỉ số thông tin như AIC, BIC ở mỗi bước thì chúng ta có thể sử dụng câu lệnh nestreg để ghi nhận sự thay đổi của các chỉ số này. Câu lệnh nestreg cho biết rất nhiều thông tin về độ phù hợp của mô hình như thống kê Wald, Chi – bình phương, R – bình phương, sự thay đổi R – bình phương cũng như các chỉ số thông tin AIC, BIC cho mỗi mô hình trung gian.

Hình: Quy trình thực hiện hồi quy Stepwise

Khi hồi quy Stepwise thuận [forward selection] được lựa chọn, cách đơn giản nhất để ghi nhận sự thay đổi độ phù hợp của các mô hình trung gian của Stepwise là sử dụng nestreg. Trình tự các bước như sau:

• Đầu tiên, thực hiện hồi quy Stepwise bằng câu lệnh stepwise trên Stata
• Sau đó, ước lượng lại mô hình bằng câu lệnh nestreg với trật tự các biến được thiết lập như trong kết quả ước lượng của câu lệnh stepwise. Lưu ý, ở đây tôi sử dụng đúng mẫu đã được ước lượng bằng câu lệnh stepwise để đảm bảo tính trùng khớp giữa hai ước lượng thông qua thiết lập tùy chọn if e[sample]

Ví dụ: sử dụng bộ dữ liệu doanh số bán xe ô tô của Mỹ năm 1978 [auto.dta] chúng ta muốn xem các yếu tố như tiêu hao nhiên liệu [mpg], trọng lượng xe [weight], chiều dài xe [length], nơi sản xuất [foreign] quyết định như thế nào đến giá xe thì trên Stata chúng ta thực hiện như sau:

Đầu tiên, tôi thực hiện hồi quy Stepwsie thuận bằng câu lệnh stepwise với tùy chọn pe trên Stata. Ở đây, tôi sử dụng mức xác suất thêm biến là 5%, nghĩa là các biến có ý nghĩa thống kê ở mức nhỏ hơn 0.05 thì sẽ được thêm vào mô hình.

. sysuse auto [1978 Automobile Data] . stepwise, pe[.05]: regress price mpg weight length foreign begin with empty model p = 0.0000 < 0.0500 adding weight p = 0.0000 < 0.0500 adding foreign p = 0.0069 < 0.0500 adding length Source | SS df MS Number of obs = 74 -------------+---------------------------------- F[3, 70] = 28.39 Model | 348565467 3 116188489 Prob > F = 0.0000 Residual | 286499930 70 4092856.14 R-squared = 0.5489 -------------+---------------------------------- Adj R-squared = 0.5295 Total | 635065396 73 8699525.97 Root MSE = 2023.1 ------------------------------------------------------------------------------ price | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------- weight | 5.774712 .9594168 6.02 0.000 3.861215 7.688208 foreign | 3573.092 639.328 5.59 0.000 2297.992 4848.191 length | -91.37083 32.82833 -2.78 0.007 -156.8449 -25.89679 _cons | 4838.021 3742.01 1.29 0.200 -2625.183 12301.22 ------------------------------------------------------------------------------

Sau khi sử dụng Stepwise thì ba biến có ý nghĩa thống kê được thêm vào mô hình gồm weight, foreign và length. Tôi sẽ sử dụng ba biến này làm ba biến giải thích trong câu lệnh nestreg tiếp theo theo đúng trật tự chúng hiển thị trong kết quả hồi quy Stepwise trên như sau:

. nestreg, quietly store[m]: regress price weight foreign length if e[sample] Block 1: weight Block 2: foreign Block 3: length +-------------------------------------------------------------+ | | Block Residual Change | | Block | F df df Pr > F R2 in R2 | |-------+-----------------------------------------------------| | 1 | 29.42 1 72 0.0000 0.2901 | | 2 | 29.59 1 71 0.0000 0.4989 0.2088 | | 3 | 7.75 1 70 0.0069 0.5489 0.0499 | +-------------------------------------------------------------+

Kết quả là R – bình phương được cải thiện đáng kể ở mỗi bước thêm biến. Cụ thể bổ sung thêm biến foreign và length lần lượt là tăng R – bình phương thêm gần 0.21 và 0.05.

Giả sử, tôi muốn kiểm tra độ phù hợp của mô hình thông qua các chỉ số AIC/BIC thì trong trường hợp này, tôi sử dụng ước lượng tỉ lệ hợp lý cực đại [LR]. Tôi có thể sử dụng câu lệnh nestreg để thực hiện ước lượng này như sau:

. nestreg, quietly lr: regress price weight foreign length if e[sample] Block 1: weight Block 2: foreign Block 3: length +----------------------------------------------------------------+ | Block | LL LR df Pr > LR AIC BIC | |-------+--------------------------------------------------------| | 1 | -683.0354 25.35 1 0.0000 1370.071 1374.679 | | 2 | -670.1448 25.78 1 0.0000 1346.29 1353.202 | | 3 | -666.2613 7.77 1 0.0053 1340.523 1349.739 | +----------------------------------------------------------------+

Ý NGHĨA VÀ CÁCH TÍNH TIÊU CHUẨN AIC, BIC

Akaike Information Criterion [AIC] và Bayesian Information Criterion [BIC] được tính

• AIC = −2[loglikelihood] + 2[số các hệ số ước lượng].
• BIC = −2[loglikelihood] + [log n][số các hệ số ước lượng].

Đối với hồi quy tuyến tính, với giả định Gauss thì −2[loglikelihood] tỉ lệ với n*log[SSE/n]. Vì thế tổng bình phương sai số chuẩn được giải thích bởi mô hình [SSE] càng nhỏ thì AIC và BIC càng lớn. Một mô hình đơn giản và đầy đủ phải là mô hình có trị số AIC hoặc BIC càng thấp càng tốt và các biến độc lập phải có ý nghĩa thống kê. Thành ra, vấn đề đi tìm một mô hình đơn giản và đầy đủ là thật sự đi tìm một [hay nhiều] mô hình với trị số AIC thấp nhất hay gần thấp nhất.

Như vậy, kết quả ước lượng theo tỉ lệ hợp lí cực đại bằng câu lệnh nestreg trên cho thấy độ phù hợp của mô hình ngày càng được cải thiện khi lần lượt bổ sung thêm các biến có ý nghĩa thống kê vào mô hình. Mô hình với 3 biến weight, foreign và length có độ phù hợp cao nhất ứng với các giá trị AIC/BIC nhỏ nhất.

Nguồn: The Stata Journal [2007, pp. 272–274]

Bài liên quan