Chương 57: Quyết định trong bất định¶
Câu hỏi mở đầu
Tối ưu khi biết chắc kết quả của mỗi lựa chọn thì còn dễ. Nhưng khi kết quả phụ thuộc may rủi, như đầu tư, mua bảo hiểm, chẩn đoán, thì "tốt nhất" nghĩa là gì?
Mang ô hay không¶
Sáng nay dự báo nói khả năng mưa là 30%. Bạn có nên mang ô? Chấm điểm hài lòng cho bốn khả năng (điểm giả định, mỗi người chấm một khác): mang ô mà trời mưa thì khô ráo nhưng vướng víu, 6 điểm; mang ô mà trời không mưa thì chỉ vướng víu, 7 điểm; không mang mà mưa thì ướt sũng, 0 điểm; không mang mà không mưa thì thoải mái, 10 điểm. Xếp thành bảng:
| mưa (xác suất \(0{,}3\)) | không mưa (xác suất \(0{,}7\)) | |
|---|---|---|
| mang ô | 6 | 7 |
| không mang | 0 | 10 |
Một bảng như thế, mỗi hàng là một hành động, mỗi cột là một trạng thái của thế giới mà ta không điều khiển được, mỗi ô là kết quả, gọi là bảng quyết định (decision table). Cái khó hiện ra ngay: không hành động nào tốt nhất ở mọi cột. Nếu mưa thì mang ô hơn; nếu không mưa thì không mang hơn. Muốn chọn, phải có một cách gộp các cột lại, và có nhiều cách hợp lý.
Cách tự nhiên nhất là lấy trung bình có trọng số theo xác suất, tức kỳ vọng của Chương 44: mang ô được \(0{,}3 \cdot 6 + 0{,}7 \cdot 7 = 6{,}7\), không mang được \(0{,}3 \cdot 0 + 0{,}7 \cdot 10 = 7\). Theo kỳ vọng, đừng mang ô. Một người thận trọng lại nhìn vào trường hợp xấu nhất: mang ô thì tệ nhất cũng 6 điểm, không mang thì có thể 0 điểm; người ấy mang ô. Hai lập luận đều có lý mà dẫn tới hai quyết định ngược nhau.
Kỳ vọng tiền cũng có những chỗ hỏng rõ ràng. Chương 44 đã gặp trò chơi St. Petersburg, có kỳ vọng tiền thưởng vô hạn mà không ai chịu trả nhiều để chơi, và việc mua bảo hiểm, có kỳ vọng âm với người mua mà người ta vẫn mua. Năm 1738, Daniel Bernoulli đề xuất rằng giá trị của tiền với một người không tăng đều theo số tiền: thêm một triệu đồng với người đang có mười triệu đáng giá hơn nhiều so với người đang có mười tỉ. Ta nên lấy kỳ vọng của giá trị ấy, chứ không phải của số tiền.
Vì sao cấu trúc này phải xuất hiện, dù chưa ai đặt tên cho nó? Vì mọi quyết định trong bất định đều là chọn giữa những "xổ số": mỗi hành động cho một phân phối xác suất trên các kết quả. Muốn chọn thì phải xếp hạng các phân phối ấy, và cách xếp hạng buộc phải nói rõ hai điều: ta đánh giá từng kết quả ra sao, và ta gộp các kết quả theo xác suất thế nào. Bảng quyết định, các tiêu chí, độ hữu dụng (utility) và giá trị của thông tin là những câu trả lời cho hai điều ấy; chúng có mặt trong mọi lựa chọn có rủi ro, dù người chọn có gọi tên chúng hay không. Von Neumann và Morgenstern đã chứng minh rằng, dưới vài đòi hỏi về tính nhất quán, mọi cách xếp hạng các xổ số đều tương đương với việc làm lớn nhất kỳ vọng của một hàm giá trị nào đó của kết quả.
Ký hiệu¶
Một bảng quyết định có các hành động \(a\), các trạng thái \(s\) với xác suất \(P(s)\), và kết quả \(x(a, s)\). Ba tiêu chí thường gặp:
- tiêu chí kỳ vọng (expected value criterion): chọn hành động có \(\sum_s P(s)\,x(a, s)\) lớn nhất;
- tiêu chí maximin (maximin criterion): chọn hành động có kết quả xấu nhất, \(\min_s x(a, s)\), tốt nhất;
- tiêu chí minimax hối tiếc (minimax regret criterion): với mỗi ô, hối tiếc (regret) là khoảng cách tới kết quả tốt nhất có thể trong cùng trạng thái, \(r(a, s) = \max_{a'} x(a', s) - x(a, s)\); chọn hành động có hối tiếc lớn nhất nhỏ nhất.
Hai tiêu chí sau không dùng tới xác suất, nên vẫn dùng được khi ta không biết xác suất.
Độ hữu dụng là một hàm \(u\) gán cho mỗi kết quả một con số đo giá trị của nó với người quyết định. Hữu dụng kỳ vọng (expected utility) của một hành động là \(EU(a) = \sum_s P(s)\,u(x(a, s))\), và tiêu chí của Bernoulli là chọn hành động có hữu dụng kỳ vọng lớn nhất. Hàm \(u\) gọi là hàm lõm (concave function) nếu mọi dây cung nối hai điểm của đồ thị nằm không trên đồ thị:
Đó là ngược lại của hàm lồi ở Chương 36: \(u\) lõm khi và chỉ khi \(-u\) lồi, và một hàm có \(u'' \leq 0\) trên một khoảng thì lõm trên khoảng ấy. Các hàm \(\sqrt{x}\) và \(\ln x\) (Chương 13) lõm trên \((0; +\infty)\): mỗi đồng thêm vào có giá trị kém hơn đồng trước. Một người có độ hữu dụng lõm gọi là người ngại rủi ro (risk-averse): họ thích nhận chắc chắn giá trị kỳ vọng hơn là chịu rủi ro quanh nó (Mệnh đề 3).
Tương đương chắc chắn (certainty equivalent) của một xổ số \(X\) là số tiền chắc chắn \(c\) có cùng độ hữu dụng: \(u(c) = E[u(X)]\). Hiệu \(E[X] - c\) gọi là phần bù rủi ro (risk premium): số tiền kỳ vọng mà người quyết định sẵn lòng bỏ đi để thoát khỏi rủi ro.
Giá trị kỳ vọng của thông tin hoàn hảo (expected value of perfect information) là khoảng cách giữa quyết định khi biết trước trạng thái và quyết định khi không biết:
Khi quyết định diễn ra qua nhiều bước xen kẽ với may rủi, ta vẽ cây quyết định (decision tree): nút quyết định (ta chọn một nhánh) và nút may rủi (thế giới chọn một nhánh theo xác suất), như cây xác suất của Chương 42. Cây được giải từ lá về gốc: tại nút may rủi lấy kỳ vọng, tại nút quyết định lấy nhánh tốt nhất. Cách giải ngược ấy gọi là quy nạp lùi (backward induction).
Làm bằng tay¶
Ví dụ 1 (ba tiêu chí, ba câu trả lời). Với bảng mang ô: tiêu chí kỳ vọng chọn không mang (\(7 > 6{,}7\)); tiêu chí maximin chọn mang ô (\(6 > 0\)). Bảng hối tiếc: khi mưa, tốt nhất là 6, nên hối tiếc của mang ô là 0 và của không mang là 6; khi không mưa, tốt nhất là 10, nên hối tiếc là 3 và 0. Hối tiếc lớn nhất của mang ô là 3, của không mang là 6: tiêu chí minimax hối tiếc chọn mang ô. Theo kỳ vọng, điểm hòa vốn là xác suất mưa \(p\) với \(6p + 7(1 - p) = 10(1 - p)\), tức \(p = \frac13\): mưa từ khoảng 33% trở lên thì nên mang ô.
Bàn tương tác: ba tiêu chí trên bảng mang ô
Bàn mở ra với bảng mang ô ở đầu chương. Kéo xác suất mưa \(p\): tiêu chí nào đổi lựa chọn, tiêu chí nào không? Rồi đổi điểm của hai ô "mang ô mà trời không mưa" và "không mang mà trời mưa": chỗ hai đường cắt nhau dời đi thế nào?
Bàn tương tác cần trình duyệt bật JavaScript.
Điều bạn vừa thấy
Tiêu chí kỳ vọng đổi lựa chọn đúng một lần, khi \(p\) đi qua chỗ hai đường cắt nhau; hai tiêu chí kia không nhìn \(p\) nên giữ nguyên lựa chọn, và chỉ đổi khi điểm trong bảng đổi. Chỗ cắt nhau cân hai cái giá: giá của việc mang ô vô ích (10 trừ điểm "mang ô mà trời không mưa") và giá của việc bị ướt (6 trừ điểm "không mang mà trời mưa"). Mang ô vô ích càng khó chịu, trời phải càng dễ mưa mới đáng mang; bị ướt càng khổ, ngưỡng ấy càng thấp.
Ví dụ 2 (giá trị của một dự báo hoàn hảo). Nếu biết chắc trời có mưa hay không, ta chọn đúng trong từng trường hợp: mưa thì mang ô (6 điểm), không mưa thì không mang (10 điểm). Trước khi biết, kỳ vọng của cách chơi ấy là \(0{,}3 \cdot 6 + 0{,}7 \cdot 10 = 8{,}8\), so với 7 điểm của quyết định tốt nhất khi không biết. Vậy \(\text{EVPI} = 8{,}8 - 7 = 1{,}8\) điểm: không một dự báo nào, dù hoàn hảo, đáng giá hơn thế.
Ví dụ 3 (một dự báo không hoàn hảo). Một ứng dụng thời tiết (số liệu giả định) báo "mưa" với xác suất \(0{,}8\) khi trời sẽ mưa và với xác suất \(0{,}2\) khi trời sẽ không mưa. Xác suất ứng dụng báo mưa là \(0{,}3 \cdot 0{,}8 + 0{,}7 \cdot 0{,}2 = 0{,}38\). Theo định lý Bayes (Chương 43), khi nó báo mưa, xác suất mưa là \(\frac{0{,}24}{0{,}38} = \frac{12}{19} \approx 0{,}63\), trên ngưỡng \(\frac13\): mang ô. Khi nó báo không mưa, xác suất mưa là \(\frac{0{,}06}{0{,}62} = \frac{3}{31} \approx 0{,}10\): không mang.
flowchart LR
G["xem ứng dụng"] -->|"báo mưa: 0,38"| A{"mang ô?"}
G -->|"báo không mưa: 0,62"| B{"mang ô?"}
A -->|"mang"| A1(("6,37 điểm"))
A -->|"không mang"| A2(("3,68 điểm"))
B -->|"mang"| B1(("6,90 điểm"))
B -->|"không mang"| B2(("9,03 điểm"))
Cây trên được giải bằng quy nạp lùi. Nhánh "báo mưa": mang ô được \(6 \cdot \frac{12}{19} + 7 \cdot \frac{7}{19} = \frac{121}{19} \approx 6{,}37\), không mang được \(10 \cdot \frac{7}{19} \approx 3{,}68\); chọn mang ô. Nhánh "báo không mưa": mang ô được \(6 \cdot \frac{3}{31} + 7 \cdot \frac{28}{31} = \frac{214}{31} \approx 6{,}90\), không mang được \(10 \cdot \frac{28}{31} = \frac{280}{31} \approx 9{,}03\); chọn không mang. Gộp theo xác suất của hai nhánh:
Ứng dụng nâng điểm kỳ vọng từ 7 lên \(8{,}02\): nó đáng giá \(1{,}02\) điểm, ít hơn \(1{,}8\) điểm của một dự báo hoàn hảo, nhưng không ít hơn 0.
Ví dụ 4 (tương đương chắc chắn). Một người có độ hữu dụng \(u(x) = \sqrt{x}\) được mời một xổ số: 50% nhận 100 (nghìn đồng), 50% không nhận gì. Kỳ vọng tiền là 50, nhưng hữu dụng kỳ vọng là \(\frac12\sqrt{0} + \frac12\sqrt{100} = 5\), và số tiền chắc chắn có cùng độ hữu dụng là \(c\) với \(\sqrt{c} = 5\), tức \(c = 25\). Người ấy sẵn lòng đổi xổ số lấy 25 chắc chắn: phần bù rủi ro là \(50 - 25 = 25\).
Bàn tương tác: tương đương chắc chắn
Bàn mở ra với xổ số của Ví dụ 4: 50% nhận 100, 50% không nhận gì, với độ hữu dụng \(\sqrt{x}\). Đổi hai giải thưởng và đổi độ hữu dụng. Khi nào tương đương chắc chắn gần kỳ vọng tiền, khi nào nó thấp hơn nhiều? Với \(u(x) = x\) thì sao?
Bàn tương tác cần trình duyệt bật JavaScript.
Điều bạn vừa thấy
Với \(\sqrt{x}\) hay \(\ln x\), dây cung nối hai điểm khác nhau của đồ thị nằm hẳn dưới đồ thị, nên hữu dụng kỳ vọng thấp hơn độ hữu dụng của kỳ vọng tiền, và tương đương chắc chắn nhỏ hơn kỳ vọng. Giữ một giải và đẩy giải kia ra xa thì phần bù rủi ro lớn dần; hai giải bằng nhau thì không có rủi ro, và phần bù bằng 0. Gần 0, \(\ln x\) cong mạnh hơn \(\sqrt{x}\) nhiều: với nó, chỉ một khả năng không nhận gì đã kéo tương đương chắc chắn về 0. Với \(u(x) = x\), đồ thị thẳng, tương đương chắc chắn luôn bằng kỳ vọng tiền: người ấy không ngại rủi ro.
Ví dụ 5 (vì sao mua bảo hiểm). Trở lại bài B7 của Chương 44: nhà có xác suất \(0{,}002\) bị cháy trong năm, thiệt hại 400 triệu đồng, phí bảo hiểm 1 triệu đồng. Giả định chủ nhà có tổng tài sản 500 triệu đồng và độ hữu dụng \(u(x) = \ln x\) (tính theo triệu đồng). Không mua: \(EU = 0{,}998 \ln 500 + 0{,}002 \ln 100 \approx 6{,}21139\). Mua: \(EU = \ln 499 \approx 6{,}21261\), lớn hơn. Tương đương chắc chắn của việc không mua là \(e^{6{,}21139} \approx 498{,}39\) triệu, nên chủ nhà sẵn lòng trả tới khoảng \(500 - 498{,}39 = 1{,}61\) triệu đồng để được bảo hiểm, dù thiệt hại kỳ vọng chỉ là \(0{,}8\) triệu. Phí 1 triệu nằm giữa \(0{,}8\) và \(1{,}61\): công ty bảo hiểm, gánh rất nhiều hợp đồng độc lập nên gần như chỉ quan tâm kỳ vọng (luật số lớn, Chương 45), lãi kỳ vọng \(0{,}2\) triệu mỗi hợp đồng; chủ nhà được lợi về hữu dụng. Cả hai bên cùng có lợi.
Ví dụ 6 (nghịch lý St. Petersburg). Với độ hữu dụng \(\ln x\) của chính tiền thưởng, trò chơi nhận \(2^k\) với xác suất \(\frac{1}{2^k}\) có hữu dụng kỳ vọng
vì tổng \(S = \frac12 + \frac24 + \frac38 + \dots\) thỏa \(S - \frac{S}{2} = \frac12 + \frac14 + \frac18 + \dots = 1\) (cấp số nhân của Chương 31), tức \(S = 2\). Tương đương chắc chắn của trò chơi có kỳ vọng vô hạn này chỉ là 4 đồng. Đó là lời giải Bernoulli đưa ra năm 1738: người ta không trả nhiều vì giá trị của những giải thưởng khổng lồ nhưng hiếm hoi tăng chậm hơn nhiều so với số tiền.
Ví dụ 7 (nên đặt cược bao nhiêu). Một người được chơi lặp lại một trò cược thắng với xác suất \(0{,}6\), thắng thì được thêm đúng số tiền đặt, thua thì mất số tiền đặt. Mỗi ván, người ấy đặt một tỉ lệ \(f\) của vốn hiện có. Theo kỳ vọng tiền, mỗi ván nhân vốn trung bình với \(1 + 0{,}2f\), nên càng đặt nhiều càng tốt, và đặt cả vốn là tốt nhất. Nhưng đặt cả vốn thì chỉ một ván thua là mất hết. Sau \(n\) ván với \(W\) ván thắng, vốn là \((1 + f)^W (1 - f)^{n - W}\) lần vốn ban đầu, nên
theo luật số lớn, vì \(\frac{W}{n} \to 0{,}6\). Vốn tăng như \(e^{n g(f)}\): điều cần làm lớn nhất về lâu dài là \(g(f)\), kỳ vọng của logarit, chứ không phải kỳ vọng của tiền. Đạo hàm \(g'(f) = \frac{0{,}6}{1 + f} - \frac{0{,}4}{1 - f}\) bằng 0 khi \(0{,}6(1 - f) = 0{,}4(1 + f)\), tức \(f = 0{,}2\). Đặt 20% vốn mỗi ván cho \(g(0{,}2) \approx 0{,}0201\), vốn tăng khoảng 2% mỗi ván. Đặt 40% cho \(g(0{,}4) \approx -0{,}0025 < 0\): dù mỗi ván đều có lợi theo kỳ vọng, vốn teo dần về 0 trong dài hạn. Tỉ lệ \(f = 2p - 1\) ấy gọi là tiêu chí Kelly (Kelly criterion), theo tên John Kelly, người công bố nó năm 1956.
Bàn tương tác: tiêu chí Kelly
Bàn mở ra với trò cược của Ví dụ 7: thắng với xác suất \(0{,}6\), đặt 20% vốn mỗi ván. Kéo tỉ lệ đặt \(f\) qua lại và nhìn tốc độ tăng \(g(f)\) cùng hai đường vốn mô phỏng. Đặt nhiều hơn tỉ lệ Kelly thì sao, ít hơn thì sao? Rồi đổi xác suất thắng \(p\): tỉ lệ Kelly và chỗ \(g\) đổi dấu dời đi thế nào?
Bàn tương tác cần trình duyệt bật JavaScript.
Điều bạn vừa thấy
Kỳ vọng tiền mỗi ván tăng đều theo \(f\), nhưng tốc độ tăng \(g(f)\) thì lên rồi xuống: lớn nhất tại tỉ lệ Kelly \(2p - 1\), rồi giảm, và âm khi \(f\) vượt qua chỗ đổi dấu, chỗ này gần gấp đôi tỉ lệ Kelly khi lợi thế nhỏ. Đặt ít hơn tỉ lệ Kelly một chút chỉ làm chậm đi một chút, vì đỉnh của \(g\) khá bằng; đặt nhiều hơn hẳn thì vốn teo dần, dù mỗi ván có lợi theo kỳ vọng. Bấm mô phỏng lại vài lần: các đường vốn đổi nhiều từ lần này sang lần khác, vì 1000 ván vẫn còn ít so với độ dao động, nhất là khi \(g\) gần 0; nhưng khi \(f\) khác xa tỉ lệ Kelly, đường xanh hầu như luôn kết thúc cao hơn đường cam. Với \(p \leq 0{,}5\), cược không có lợi, và tỉ lệ tốt nhất là không đặt gì.
Ranh giới¶
Không có tiêu chí đúng cho mọi người. Ba tiêu chí ở Ví dụ 1 cho ba mức thận trọng khác nhau, và bài B1 cho thấy chúng có thể chọn ba hành động khác nhau. Toán học chỉ ra hệ quả của từng cách đánh giá; chọn cách đánh giá là việc của người quyết định.
Hữu dụng kỳ vọng là chuẩn mực, không phải mô tả. Người ta thường không nhất quán: cùng một lựa chọn, diễn đạt theo số người được cứu hay theo số người bị mất, số tiền được hay số tiền mất, thường dẫn tới những quyết định khác nhau; và nhiều người vừa mua bảo hiểm vừa mua vé số, điều mà một hàm hữu dụng lõm duy nhất không giải thích được (bài C3). Hữu dụng kỳ vọng không mô tả con người thật; nó là một chuẩn để kiểm tra xem các lựa chọn của mình có nhất quán với nhau không.
Khi không biết cả xác suất. Tiêu chí kỳ vọng cần xác suất của từng trạng thái. Khi không có, có thể dùng maximin hay minimax hối tiếc, hoặc gán cho các trạng thái những xác suất chủ quan rồi cập nhật chúng bằng định lý Bayes khi có thêm dữ liệu, như Chương 43.
Con số hữu dụng không có ý nghĩa tự thân. Thay \(u\) bằng \(au + b\) với \(a > 0\) không đổi quyết định nào (Mệnh đề 4): chỉ việc so sánh các hữu dụng kỳ vọng là có nghĩa, không phải bản thân con số 5 hay \(6{,}21\).
Tiêu chí Kelly cần biết đúng xác suất. Nếu tưởng xác suất thắng là \(0{,}6\) trong khi thật ra là \(0{,}55\), tỉ lệ đặt \(0{,}2\) đã gấp đôi tỉ lệ đúng (\(0{,}1\)) và làm tốc độ tăng về gần 0 (bài B6). Vì đặt ít hơn tỉ lệ Kelly chỉ làm chậm đi một chút mà đặt nhiều hơn thì nguy hiểm, người thận trọng thường đặt một phần của tỉ lệ Kelly.
Phát biểu chặt chẽ¶
Định nghĩa 1. Cho các hành động \(a\), các trạng thái \(s\) với xác suất \(P(s)\) và kết quả \(x(a, s)\). Với hàm hữu dụng \(u\), hữu dụng kỳ vọng của \(a\) là \(EU(a) = \sum_s P(s)\,u(x(a, s))\). Giá trị kỳ vọng của thông tin hoàn hảo là \(\text{EVPI} = \sum_s P(s) \max_a x(a, s) - \max_a \sum_s P(s)\,x(a, s)\). Tương đương chắc chắn của một kết quả ngẫu nhiên \(X\) với \(u\) tăng ngặt là số \(c\) với \(u(c) = E[u(X)]\).
Định lý 2 (thông tin hoàn hảo không thể có hại). \(\text{EVPI} \geq 0\).
Chứng minh. Gọi \(a^*\) là hành động tốt nhất khi không có thông tin. Với mọi trạng thái \(s\), \(\max_a x(a, s) \geq x(a^*, s)\). Nhân với \(P(s) \geq 0\) rồi cộng theo \(s\): \(\sum_s P(s) \max_a x(a, s) \geq \sum_s P(s)\,x(a^*, s) = \max_a \sum_s P(s)\,x(a, s)\). \(\square\)
Nói bằng lời: người biết trước vẫn luôn có thể chọn đúng \(a^*\) như người không biết, nên họ không thể làm tệ hơn theo kỳ vọng. Lập luận y hệt, cộng thêm công thức xác suất toàn phần, cho thấy một thông tin không hoàn hảo cũng không làm giảm kỳ vọng của quyết định tốt nhất (bài C1).
Mệnh đề 3 (người có độ hữu dụng lõm từ chối trò chơi công bằng). Cho \(u\) lõm và một người có tài sản \(w\). Một trò chơi công bằng hai kết quả cho thêm \(g > 0\) với xác suất \(p\) và làm mất \(\ell > 0\) với xác suất \(1 - p\), với \(pg = (1 - p)\ell\) (kỳ vọng bằng 0, như ở Chương 44). Khi đó \(p\,u(w + g) + (1 - p)\,u(w - \ell) \leq u(w)\): chơi không tốt hơn không chơi. Nếu \(u\) lõm ngặt (bất đẳng thức trong định nghĩa là ngặt khi \(x \neq y\) và \(0 < t < 1\)), thì không chơi tốt hơn hẳn.
Chứng minh. Vì trò chơi công bằng, \(p(w + g) + (1 - p)(w - \ell) = w + pg - (1 - p)\ell = w\). Áp dụng định nghĩa của hàm lõm với \(x = w + g\), \(y = w - \ell\), \(t = p\): \(u(w) = u\big(p(w + g) + (1 - p)(w - \ell)\big) \geq p\,u(w + g) + (1 - p)\,u(w - \ell)\), ngặt nếu \(u\) lõm ngặt. \(\square\)
Bất đẳng thức \(E[u(X)] \leq u(E[X])\) cho một hàm lõm \(u\) và một biến ngẫu nhiên \(X\) bất kỳ gọi là bất đẳng thức Jensen (Jensen's inequality); Mệnh đề 3 là trường hợp hai giá trị. Với \(u\) tăng, nó cho tương đương chắc chắn không vượt quá kỳ vọng: phần bù rủi ro không âm.
Mệnh đề 4 (hàm hữu dụng không duy nhất). Nếu \(v = au + b\) với \(a > 0\), thì \(EU_v(a_1) \geq EU_v(a_2)\) khi và chỉ khi \(EU_u(a_1) \geq EU_u(a_2)\) với mọi hai hành động \(a_1\), \(a_2\).
Chứng minh. Vì tổng các xác suất bằng 1, \(EU_v(a) = \sum_s P(s)\big(a\,u(x(a, s)) + b\big) = a\,EU_u(a) + b\), và phép biến đổi \(t \mapsto at + b\) với \(a > 0\) giữ nguyên thứ tự. \(\square\)
Mệnh đề 5 (tiêu chí Kelly cho cược một ăn một). Cho \(\frac12 < p < 1\) và \(g(f) = p\ln(1 + f) + (1 - p)\ln(1 - f)\) trên \([0; 1)\). Khi đó \(g\) lớn nhất tại \(f = 2p - 1\).
Chứng minh. \(g'(f) = \frac{p}{1 + f} - \frac{1 - p}{1 - f}\) và \(g''(f) = -\frac{p}{(1 + f)^2} - \frac{1 - p}{(1 - f)^2} < 0\), nên \(g\) lõm và \(-g\) lồi trên \([0; 1)\). Phương trình \(g'(f) = 0\) cho \(p(1 - f) = (1 - p)(1 + f)\), tức \(f = 2p - 1\), nằm trong \((0; 1)\). Theo Mệnh đề 7 của Chương 36 áp dụng cho \(-g\), đó là điểm \(g\) lớn nhất. \(\square\)
Sợi chỉ
- S2. Thông tin và khả nghịch. Thông tin có giá, và giá ấy đo được: dự báo hoàn hảo đáng \(1{,}8\) điểm, ứng dụng không hoàn hảo đáng \(1{,}02\) điểm, và theo Định lý 2, thông tin không bao giờ làm hại quyết định theo kỳ vọng. Thông tin chỉ có giá khi nó có thể làm đổi hành động: ngoài cặp ngưỡng \(\frac13\), dự báo không thay đổi gì.
- S4. Cục bộ và toàn cục. Làm lớn nhất kỳ vọng tiền của từng ván (đặt cả vốn) phá hủy vốn về lâu dài; điều cần làm lớn nhất cho toàn bộ chuỗi ván là kỳ vọng của logarit, và luật số lớn (Chương 45) nối hai tầm nhìn ấy. Cây quyết định được giải từ lá về gốc: quyết định tốt ở mỗi nút cục bộ ghép thành chiến lược tốt cho cả cây.
- S6. Biểu diễn khác nhau của cùng một cấu trúc. Cùng một bài toán có thể viết thành bảng quyết định hay cây quyết định; bảng tiện so sánh các tiêu chí, cây tiện cho những quyết định nhiều bước xen với thông tin mới.
Tóm tắt¶
- Bảng quyết định ghi kết quả của mỗi hành động trong mỗi trạng thái; thường không hành động nào tốt nhất ở mọi trạng thái, nên cần một tiêu chí.
- Tiêu chí kỳ vọng dùng xác suất; tiêu chí maximin và minimax hối tiếc không cần xác suất; các tiêu chí có thể chọn khác nhau.
- Kỳ vọng tiền hỏng với nghịch lý St. Petersburg và bảo hiểm; lời giải của Bernoulli là làm lớn nhất hữu dụng kỳ vọng với một độ hữu dụng lõm như \(\ln x\).
- Người có độ hữu dụng lõm ngại rủi ro: họ từ chối trò chơi công bằng, và tương đương chắc chắn của một xổ số nhỏ hơn kỳ vọng của nó.
- Giá trị kỳ vọng của thông tin hoàn hảo không âm; thông tin không hoàn hảo, xử lý bằng định lý Bayes, đáng giá ít hơn nhưng cũng không âm.
- Cây quyết định được giải bằng quy nạp lùi: kỳ vọng ở nút may rủi, lựa chọn tốt nhất ở nút quyết định.
- Khi đặt cược lặp lại, điều cần làm lớn nhất là tốc độ tăng logarit của vốn; tỉ lệ Kelly với cược một ăn một là \(f = 2p - 1\).
Bài tập¶
A. Tư duy¶
A1. Vì sao với bảng mang ô, ta không thể nói "hành động tốt nhất" mà không chọn trước một tiêu chí? Khi nào thì mọi tiêu chí đều đồng ý?
Lời giải
Vì không hành động nào tốt nhất ở mọi cột: mang ô thắng khi mưa, không mang thắng khi không mưa, nên phải quyết định cách cân các cột. Nếu có một hành động tốt hơn hay bằng mọi hành động khác ở từng cột, thì nó có kỳ vọng lớn nhất, trường hợp xấu nhất tốt nhất và hối tiếc bằng 0 ở mọi cột; khi ấy mọi tiêu chí đều chọn nó.
A2. Giải thích bằng lời vì sao giá trị kỳ vọng của thông tin hoàn hảo không bao giờ âm. Khi nào nó bằng 0?
Lời giải
Người biết trước trạng thái vẫn có thể bỏ qua thông tin và làm đúng như người không biết, nên họ không bao giờ làm tệ hơn; thường họ làm tốt hơn nhờ đổi hành động ở những trạng thái mà hành động mặc định không hợp. \(\text{EVPI}\) bằng 0 khi hành động tốt nhất lúc không biết cũng là tốt nhất ở mọi trạng thái: khi ấy biết trước không làm đổi quyết định nào, và thông tin vô giá trị.
A3. Một người khá giả không mua bảo hiểm cho chiếc điện thoại nhưng mua bảo hiểm cho căn nhà. Hãy giải thích bằng độ hữu dụng lõm.
Lời giải
Với khoản mất nhỏ so với tài sản, đồ thị của \(u\) trên đoạn giữa \(w\) và \(w\) trừ khoản mất gần như thẳng, nên hữu dụng kỳ vọng gần như chỉ phụ thuộc kỳ vọng tiền, và một phí bảo hiểm cao hơn thiệt hại kỳ vọng là không đáng. Với khoản mất lớn so với tài sản, như căn nhà, độ cong của \(u\) trên đoạn ấy lớn, phần bù rủi ro lớn, và người ấy sẵn lòng trả nhiều hơn thiệt hại kỳ vọng để tránh nó (Ví dụ 5 và bài B5).
A4. Trong Ví dụ 7, mỗi ván đều có lợi theo kỳ vọng. Vì sao đặt 40% vốn mỗi ván lại làm vốn teo dần?
Lời giải
Vì thắng rồi thua (hay thua rồi thắng) nhân vốn với \(1{,}4 \cdot 0{,}6 = 0{,}84\): mất 16%. Một ván thua 40% cần hơn một ván thắng 40% mới bù lại. Kỳ vọng tiền bị kéo lên bởi những chuỗi thắng liên tiếp hiếm hoi mà vốn khổng lồ; còn với chuỗi ván điển hình, tỉ lệ thắng gần 60% theo luật số lớn, logarit của vốn thay đổi trung bình \(g(0{,}4) < 0\) mỗi ván, nên vốn teo dần.
B. Tính toán¶
B1. (Số liệu giả định, đơn vị triệu đồng.) Ba cách dùng tiền A (gửi tiết kiệm), B (trái phiếu), C (cổ phiếu) cho kết quả như bảng, với ba trạng thái của nền kinh tế: tốt (\(0{,}3\)), bình thường (\(0{,}5\)), xấu (\(0{,}2\)).
| tốt | bình thường | xấu | |
|---|---|---|---|
| A | 6 | 6 | 6 |
| B | 10 | 8 | 2 |
| C | 25 | 10 | \(-15\) |
Mỗi tiêu chí kỳ vọng, maximin, minimax hối tiếc chọn hành động nào?
Lời giải
Kỳ vọng: A được 6, B được \(3 + 4 + 0{,}4 = 7{,}4\), C được \(7{,}5 + 5 - 3 = 9{,}5\): chọn C. Maximin: tệ nhất của A, B, C là 6, 2, \(-15\): chọn A. Hối tiếc: kết quả tốt nhất ở ba trạng thái là 25, 10, 6; hối tiếc của A là 19, 4, 0 (lớn nhất 19), của B là 15, 2, 4 (lớn nhất 15), của C là 0, 0, 21 (lớn nhất 21): chọn B. Ba tiêu chí, ba câu trả lời.
B2. Tính giá trị kỳ vọng của thông tin hoàn hảo cho bài B1.
Lời giải
Biết trước trạng thái thì chọn C khi tốt (25), C khi bình thường (10), A khi xấu (6): kỳ vọng \(0{,}3 \cdot 25 + 0{,}5 \cdot 10 + 0{,}2 \cdot 6 = 13{,}7\). Không biết thì tốt nhất là \(9{,}5\). Vậy \(\text{EVPI} = 13{,}7 - 9{,}5 = 4{,}2\) triệu đồng.
B3. Với độ hữu dụng \(\sqrt{x}\), tìm tương đương chắc chắn và phần bù rủi ro của xổ số: 25% nhận 64, 75% không nhận gì.
Lời giải
Kỳ vọng tiền \(0{,}25 \cdot 64 = 16\). Hữu dụng kỳ vọng \(0{,}25 \cdot 8 = 2\), nên tương đương chắc chắn là \(2^2 = 4\), và phần bù rủi ro là \(16 - 4 = 12\): rủi ro càng lệch, người ngại rủi ro càng định giá thấp.
B4. Với độ hữu dụng \(\ln x\), tìm tương đương chắc chắn của xổ số 50% nhận 50, 50% nhận 200.
Lời giải
Hữu dụng kỳ vọng \(\frac12(\ln 50 + \ln 200) = \frac12 \ln 10.000 = \ln 100\), nên tương đương chắc chắn là 100, trong khi kỳ vọng tiền là 125. Với độ hữu dụng logarit, tương đương chắc chắn của xổ số hai khả năng như nhau là trung bình nhân của hai kết quả (bài C2).
B5. Làm lại Ví dụ 5 với một chủ nhà có tổng tài sản 10.000 triệu đồng. Họ sẵn lòng trả tối đa bao nhiêu cho bảo hiểm? Có nên mua với phí 1 triệu?
Lời giải
Không mua: \(EU = 0{,}998 \ln 10.000 + 0{,}002 \ln 9.600\), cho tương đương chắc chắn khoảng \(9.999{,}184\) triệu. Họ sẵn lòng trả tối đa khoảng \(10.000 - 9.999{,}184 \approx 0{,}816\) triệu, chỉ nhỉnh hơn thiệt hại kỳ vọng \(0{,}8\) triệu. Phí 1 triệu cao hơn mức ấy: không nên mua. Với người giàu so với khoản mất, độ hữu dụng gần như thẳng trên đoạn liên quan, và quyết định gần như theo kỳ vọng tiền.
B6. Với trò cược một ăn một thắng với xác suất \(0{,}55\), tỉ lệ Kelly là bao nhiêu và tốc độ tăng tương ứng là bao nhiêu? Nếu người chơi tưởng xác suất là \(0{,}6\) và đặt \(20\%\), tốc độ tăng thật là bao nhiêu?
Lời giải
Tỉ lệ Kelly \(f = 2 \cdot 0{,}55 - 1 = 0{,}1\), với \(g(0{,}1) = 0{,}55\ln 1{,}1 + 0{,}45\ln 0{,}9 \approx 0{,}00501\) mỗi ván. Đặt \(20\%\) khi xác suất thật là \(0{,}55\): \(0{,}55\ln 1{,}2 + 0{,}45\ln 0{,}8 \approx 0{,}00014\), gần như không tăng. Đánh giá quá cao lợi thế một chút đã ăn mất gần hết tốc độ tăng.
B7. Trò cược thắng với xác suất \(p\) và trả \(b\) đồng cho mỗi đồng đặt (thua thì mất số đặt). Chứng tỏ tỉ lệ Kelly là \(f = \frac{bp - (1 - p)}{b}\), và tính nó với \(p = 0{,}5\), \(b = 2\).
Lời giải
\(g(f) = p\ln(1 + bf) + (1 - p)\ln(1 - f)\), \(g'(f) = \frac{pb}{1 + bf} - \frac{1 - p}{1 - f}\). Cho \(g' = 0\): \(pb(1 - f) = (1 - p)(1 + bf)\), tức \(pb - (1 - p) = bf(p + 1 - p) = bf\), nên \(f = \frac{bp - (1 - p)}{b}\). Với \(p = 0{,}5\), \(b = 2\): \(f = \frac{1 - 0{,}5}{2} = 0{,}25\). Với \(b = 1\) công thức cho lại \(2p - 1\).
B8. (Số liệu giả định.) Một bệnh có tỉ lệ 10%. Bác sĩ chấm điểm: điều trị người bệnh 90, điều trị người khỏe 70 (tác dụng phụ), không điều trị người bệnh 0, không điều trị người khỏe 100. (a) Không xét nghiệm thì nên làm gì? (b) Một xét nghiệm có độ nhạy \(0{,}9\) và độ đặc hiệu \(0{,}8\). Nên làm gì theo từng kết quả xét nghiệm, và xét nghiệm đáng giá bao nhiêu điểm?
Lời giải
(a) Điều trị: \(0{,}1 \cdot 90 + 0{,}9 \cdot 70 = 72\); không điều trị: \(0{,}9 \cdot 100 = 90\): không điều trị. (b) \(P(+) = 0{,}1 \cdot 0{,}9 + 0{,}9 \cdot 0{,}2 = 0{,}27\) và \(P(\text{bệnh} \mid +) = \frac{0{,}09}{0{,}27} = \frac13\): điều trị được \(\frac13 \cdot 90 + \frac23 \cdot 70 \approx 76{,}67\), không điều trị được \(\frac23 \cdot 100 \approx 66{,}67\): điều trị. \(P(\text{bệnh} \mid -) = \frac{0{,}01}{0{,}73} = \frac{1}{73}\): không điều trị được \(\frac{72}{73} \cdot 100 \approx 98{,}63\), hơn điều trị (\(\approx 70{,}27\)). Kỳ vọng khi có xét nghiệm: \(0{,}27 \cdot \frac{230}{3} + 0{,}73 \cdot \frac{7.200}{73} = 20{,}7 + 72 = 92{,}7\). Xét nghiệm đáng giá \(92{,}7 - 90 = 2{,}7\) điểm, so với \(\text{EVPI} = (0{,}1 \cdot 90 + 0{,}9 \cdot 100) - 90 = 9\) điểm.
B9. Trong trò chơi St. Petersburg, giả sử nhà cái chỉ có \(2^{20}\) đồng (khoảng một triệu), nên mọi giải thưởng lớn hơn bị cắt về \(2^{20}\). Tính kỳ vọng của tiền thưởng.
Lời giải
Với \(k \leq 20\), giải \(2^k\) có xác suất \(\frac{1}{2^k}\), góp 1 vào kỳ vọng: tổng 20. Với \(k > 20\), giải bị cắt về \(2^{20}\), góp \(\sum_{k > 20} \frac{2^{20}}{2^k} = 2^{20} \cdot \frac{1}{2^{20}} = 1\). Kỳ vọng là 21 đồng: khi tính đến giới hạn thật của nhà cái, kỳ vọng vô hạn biến thành một con số nhỏ. Đây là một lời giải khác cho nghịch lý.
C. Phản ví dụ và chứng minh¶
C1. Một tín hiệu \(m\) (như lời báo của ứng dụng) có xác suất \(P(m)\) và làm xác suất của trạng thái thành \(P(s \mid m)\). Chứng minh rằng quyết định tốt nhất sau khi xem tín hiệu không kém quyết định tốt nhất khi không xem, theo kỳ vọng.
Lời giải
Gọi \(a^*\) là hành động tốt nhất khi không xem. Theo công thức xác suất toàn phần, \(P(s) = \sum_m P(m)P(s \mid m)\), nên \(\sum_s P(s)\,x(a^*, s) = \sum_m P(m) \sum_s P(s \mid m)\,x(a^*, s) \leq \sum_m P(m) \max_a \sum_s P(s \mid m)\,x(a, s)\). Vế trái là kỳ vọng tốt nhất khi không xem, vế phải là kỳ vọng khi xem tín hiệu rồi chọn hành động tốt nhất cho từng tín hiệu. \(\square\) Ví dụ 3 là một trường hợp: \(8{,}02 \geq 7\).
C2. Chứng minh rằng với độ hữu dụng \(\ln x\), tương đương chắc chắn của xổ số 50% nhận \(a\), 50% nhận \(b\) (\(a, b > 0\)) là \(\sqrt{ab}\), và nó không vượt quá kỳ vọng \(\frac{a + b}{2}\).
Lời giải
Hữu dụng kỳ vọng \(\frac12(\ln a + \ln b) = \ln\sqrt{ab}\), nên tương đương chắc chắn là \(\sqrt{ab}\). Và \(\frac{a + b}{2} - \sqrt{ab} = \frac{(\sqrt{a} - \sqrt{b})^2}{2} \geq 0\), bằng 0 khi và chỉ khi \(a = b\). \(\square\) Phần bù rủi ro là \(\frac{(\sqrt{a} - \sqrt{b})^2}{2}\): bằng 0 khi không có rủi ro và lớn dần khi hai kết quả xa nhau.
C3. Chứng minh rằng người có độ hữu dụng lõm và tăng không bao giờ nhận một trò chơi hai kết quả có kỳ vọng âm, chẳng hạn một vé số. Vì sao việc nhiều người vừa mua bảo hiểm vừa mua vé số là một phản ví dụ cho mô tả "mọi người có một độ hữu dụng lõm"?
Lời giải
Gọi \(X\) là số tiền thắng thua, với \(E[X] < 0\). Theo tính lõm (như Mệnh đề 3), \(E[u(w + X)] \leq u(w + E[X])\), và vì \(u\) tăng và \(w + E[X] < w\), \(u(w + E[X]) < u(w)\). Vậy chơi luôn tệ hơn không chơi. \(\square\) Vé số có kỳ vọng âm, nên người có một độ hữu dụng lõm và tăng không bao giờ mua. Mua bảo hiểm thì phù hợp với độ hữu dụng lõm. Một người làm cả hai việc thì không thể có một độ hữu dụng lõm duy nhất cho mọi mức tài sản; hữu dụng kỳ vọng với hàm lõm là một chuẩn mực, không phải bức tranh đầy đủ về hành vi thật.
Câu hỏi để ngỏ¶
Khi kết quả không chỉ phụ thuộc may rủi mà còn vào lựa chọn của người khác, những người cũng đang tính toán như ta, thì "tối ưu" còn có nghĩa gì?