סער וילף ושיטות החשיבה הרציונלית

העולם הזדעזע ב-4 באפריל 2017, כשהגיעו התמונות מסוריה – ההתקפה החמורה ביותר בנשק כימי כנגד אזרחים מזה שנים. כמעט 100 אנשים נהרגו – הרבה מהם ילדים – והעולם האשים כמעט פה אחד את בשאר אסאד וצבא סוריה, כולל ארה"ב ורוב כלי התקשורת (גם הישראלית). הופתעתי, לכן, כשהגיע לעיני ניתוח שאמר משהו אחר. הניתוח של אתר rootclaim, מכונת ההסקה ההסתברותית של הסטארט-אפ בבעלותו של סער וילף, נתן סבירות של 59% לכך שההתקפה היתה התקפה מכוונת של כוחות האופוזיציה כנגד אזרחים (False Flag). הרי בעיני רוב אזרחי המערב, הצבא הסורי שניהל מלחמה נגד אזרחיו נתפס כרע בסיפור, ו"המורדים" היו "הטובים". יכול להיות שהאמת הפוכה לגמרי?  המשכתי לעקוב אחרי הסיפור, ובינתיים נוספו עוד עדויות והסבירות עלתה ל-78%. מכונת ההסקה עבדה שעות נוספות ועדכנה את הערכותיה.  זה נראה מעניין.  ההערכה המשיכה לעלות ובגרסה האחרונה התייצבה על 87%.

Screenshot from 2017-10-29 09-56-54

מתוך האתר של רוטקליים

נזכרתי בכך אחרי שקראתי את הראיון שנתן וילף לרותם שטרקמן במוסף "דה מרקר" לפני כשבועיים, שבו סיפר על הרעיון מאחורי האתר [גילוי נאות: עבדתי עם סער ובשתי חברות בבעלותו]:

"אנשים אינטליגנטים ורציונלים, שמסתכלים על אותו מידע מגיעים למסקנות הפוכות לחלוטין, וכל אחד משוכנע בוודאות גמורה שהמסקנה שלו נכונה…זה לא אמור לקרות במערכת שמסיקה מסקנות בצורה מכוילת. למעשה, כל אחד מאתנו מחזיק במספר לא קטן של אמונות על העולם, שהוא בטוח שהן נכונות…(ו)הן לא נכונות. מוזר שזה קורה, והשאלה היא למה. (התשובה היא ש)יש לנו במוח כמה באגים קשים, שלא מאפשרים לנו להתמודד עם מורכבות ואי־ודאות…אני טוען שאפשר בכלים מתודולוגיים מחקריים שקיימים כיום להזיז את האנושות מהחלטות שעל גבול הרעש ל–90% של ודאות. זה ישפר את המצב ויקטין את הטעויות. ברוטקליים אנחנו אוהבים להשתמש במונח המוכר Less Wrong."

Less Wrong הוא שם של קהילה אינטרנטית של אנשים שאמונים על חינוך המין האנושי לחשיבה רציונלית. זה לא מפתיע שסער וילף משתמש במושג הזה. נראה שגם הוא מעוניין לשנות את איך שחושב הציבור ("זאת הפעם הראשונה שיש לי משהו שאני מחפש בו השפעה ציבורית רחבה"), ומתאר בראיון את המערכת של רוטקליים שמיישמת את החשיבה הרציונלית ההסתברותית בתוך מודל חישובי שקוף שבו לכולנו יהיה say בבחירת ההסתברויות ובחינת הראיות.

באתר של רוטקליים מופיעות סוגיות רבות ואחריהן ניתוח הסתברותי מפורט, ומסקנות. אני מציע לכם לעיין בו, הוא מעניין. נידונה שם למשל השאלה מי הפיל את המטוס המאלזי מעל שמי אוקראינה, ומה הסיכוי שחיסון נגד חצבת עשוי לגרום לאוטיזם. הרעיון שניתן לבנות אתר שהוא מין "וויקיפדיה לניתוחים הסתברותיים" שבו אנשי העולם יוכלו להתדיין יחדיו ולהסכים על ההשערה הסבירה ביותר שיכולה להסביר את הראיות, מאוד קוסם ומלהיב. האם החלום הזה בר יישום?

כדי לתת לכם קצת טעם ניתוח הסתברותי מהו, וכדי שנכיר את צורת החשיבה באתר רוטקליים, אני רוצה פה לרדת לעומקו של החישוב של רוטקליים עבור אותה סוגייה שאיתה פתחתי – מי אחראי להתקפה הכימית נגד אזרחים בסוריה באפריל 2017.

מי אחראי להתקפה בחאן שייחון?

המודל בוחן שלוש השערות (נסמן את המשתנה האקראי של ההשערה ב-H):
H=1: כוחות האופוזיציה
H=2: הצבא הסורי
H=3: הצבא הסורי התקיף בטעות מצבור כימי של כוחות האופוזיציה.

בהנחה שאלו שלוש האפשרויות היחידות, אנחנו רוצים לחשב את ההסתברות של כל השערה בהינתן הראיות. בכתיב מתמטי: (P(H | evidence.

כדי לעשות זאת משתמשים בכלל Bayes ומחלקים את החישוב לשניים:
(P(H – הפריור על ההשערות השונות: מה הסיכוי שאנחנו נותנים לכל אחת, לפני שבכלל ראינו את הראיות.
(P(evidence | H – מה הסיכוי שהתקבלו הראיות שברשותינו בהינתן כל אחת משלוש ההשערות.

לכל היפותיזה h מבין ה-3 מחשבים את המכפלה (P(h) P(evidence | h ומנרמלים את שלוש התוצאות כך שסכומן יוצא 1. זוהי ההתפלגות המבוקשת.

בחישוב עצמו, האתר נתן סיכוי של 87% להשערה 1 (כוחות האופוזיציה), 12% להשערה 2 (הצבא הסורי), וכאחוז בודד להשערה 3 (התקפה לא מכוונת של הצבא הסורי).  כאמור, זה מפתיע.  מה הם, אם כן, הגורמים המשפיעים ביותר על המסקנה של רוטקליים?

האתר מצהיר שהגורם המשפיע ביותר על המסקנות הוא… הפריור, שנתן 78% להשערה 1, ו-11% לכל אחת משתי האחרות. כלומר הגורם המשפיע ביותר על מסקנות הניתוח הוא זה שהבאנו מהבית – זה אומר שמלכתחילה כששמענו לראשונה על ההתקפה הכימית היינו צריכים להניח מיד שאלו כוחות האופוזיציה ולא הצבא הסורי. זה מוזר, לא?  הרי התפיסה המערבית היא שכוחות הצבא הסורי הם "הרעים", וכוחות האופוזיציה הם "הטובים".  אז איך זה שהפריור שלהם חושב הפוך מהפריור הציבורי?

Screenshot from 2017-10-29 10-36-42

כשמקליקים על הפריור מגלים שגם בתוך בחירת הפריור מסתתרים חישובים הסתברותיים. החישובים הללו פשוט רשומים שם כטקסט שלא ניתן לערוך או לשנות. והם די מסובכים.

למשל, על סמך מקרה אחד ידוע של התקפה מכוונת נגד אזרחים בשש שנות מלחמה, הם מניחים שהסיכוי שבשנה כלשהי יהיה מקרה נוסף הוא… שישית (⅙). זו הנחה מאוד תמוהה, כי זה אומר שהסיכוי של המקרה הראשון באותן 6 שנים היה צריך להיות 0.  והוא עדיין קרה.  מן הסתם היה צריך להוסיף מקדם פיקטיבי שייתן הסתברות חיובית גם למקרים שלא קרו מעולם (הם אפילו עושים זאת בהמשך).

את חישוב הסיכוי להתקפה לא מכוונת על מצבור כימי של כוחות אופוזיציה (השערה 3) הם עושים באמצעות הערכה של 4 כמויות:
אחוז היעדים הצבאיים שמופגז על ידי הצבא הסורי במהלך שנה: 5%
מספר האתרים הצבאיים שבהם לכוחות האופוזיציה יש חומרים כימיים: 6
הסיכוי שאתר צבאי כזה נמצא קרוב לאזרחים: 70%
הסיכוי שהפצצה של חומרים כימיים תהיה קטלנית: 10%.

מכפילים הכל ביחד וזה יוצא 2.1%. כאמור הסיכוי להתקפה מכוונת היה שישית (16.6%) אז ההסתברות המנורמלת להשערה 3 יוצאת (16.6 + 2.1) / 2.1 = 11%, ונשארו 89% לחלוקה בין השערות 1 ו-2.

כמעט כל מספר בחישוב הנ"ל עשוי לעורר דיון שלם, שלא נעשה כלל באתר.  כל ההערכות שמופיעות למעלה מגיעות ללא כל מראי מקום, ואין אפשרות להתווכח איתן בגוף הטקסט. [גם ההכפלה במספר האתרים הצבאיים של האופוזיציה (6) לא מובנת לי. הכמות שצריך להכפיל בה הוא אחוז האתרים הצבאיים של המורדים שנושאים מצבור כימי, ולא מספרם האבסולוטי שהוא חסר משמעות בפני עצמו].

הלאה. נטפל כעת ב-89% שניתנו לכך שההתקפה היא מכוונת (השערות 1 ו-2), והשאלה היא כעת מיהו המתקיף.  גם פה יש פריור בתוך הפריור. כאמור היתה התקפה כימית מכוונת אחת על אזרחים בכל שש השנים של מלחמת האזרחים (באוגוסט 2013). גם בה זהות המתקיף היתה שנוייה במחלוקת. אך רוטקליים עשו גם עליה ניתוח הסתברותי ויצא להם שכוחות האופוזיציה אשמים בסבירות של 93% והצבא הסורי בסבירות 1.4%.  כלומר כדי להאמין לפריור של רוטקליים שהוא העדות המרשיעה ביותר ברשותם שהאופוזיציה היא המתקיפה, אנחנו צריכים לסמוך על המסקנות של רוטקליים מהניתוח הקודם שהאשים את האופוזיציה. חשיבה הסתברותית היא עסק מסובך.

אז אם כך מה הסיכוי שגם ההתקפה המכוונת השנייה היא של האופוזיציה? אם היינו משתמשים באותם העקרונות של הפסקה למעלה היינו צריכים לומר 98.5% = (0.93 + 0.014) / 0.93.  אבל פה דווקא מי שערכו את החישוב הרגישו לא בנוח להעניק סיכוי כה נמוך לצבא הסורי אז הם הוסיפו קבוע פיקטיבי (smoothing) של 0.5 לכל צד (למה 0.5 דווקא?  אין הסבר), וגם שיחקו קצת עם המספרים (0.93 הפך ל-0.75), והסיכוי שזה האופוזיציה ירד ל- 71.4% = (1.25 + 0.5) / 1.25.  

מכאן הם עוברים לעוד כל מיני שיקולים, שלא משפיעים על ההתפלגות כי הם "מקזזים אחד את השני", ולבסוף מפחיתים פי 3 את הסיכוי שזה הצבא, כי אם זה הוא זה אומר שסוריה לא השמידה את כלי הנשק הכימיים שהצהירה שהשמידה וגם שישראל או נאטו לא עלו על זה, שני גורמים שמפחיתים את הסיכוי שהצבא הסורי הוא האשם.  ושוב, כל החישובים הללו הם "חישובי מפית", עם קבועים מספריים שמונחתים עלינו מלמעלה. אחרי שעושים את זה הסיכוי שזו האופוזיציה עולה ל-88% = (1.25 + 0.5/3) / 1.25, וכאמור מדובר ב-88% מתוך 89% שניתנו להשערה 1 ו-2 יחדיו, וכך קיבלנו את התוצאה הסופית של 78% לכך שהאופוזיציה הסורית התקיפה אזרחים במתקפה כימית.

וזה כאמור רק הפריור, לפני שהסתכלנו על ראיות המקרה הזה לגופו.  ברשותכם אני אעצור כאן את הניתוח, את יתר החישוב שמתייחס גם לראיות בשטח ניתן לקרוא באתר. רציתי רק לתת לכם איזו שהיא טעימה מה זה אומר "להיות בייסיאני". להתחיל עם התפלגות התחלתית (פריור) מעל כל ההיפותיזות האפשריות, ולעדכן אותה, באופן סיסטמטי על סמך מודל הסתברותי, בהתאם לעדויות החדשות שמתווספות. אין אמת מוחלטת, יש רק הסתברויות, והן משתנות עם כל מידע חדש.

[מתוך האלבום "מדריך הראפ לתודעה" של באבא ברינקמן]

תהליך הוגן יותר

אז מה היה לנו פה? חישוב לא טריוויאלי בעליל. מלא הסתברויות שנזרקו לחלל האוויר, אומדנים של אירועים ותתי אירועים על סמך מקרה יחיד, מקדמים פיקטיביים שנותנים הסתברות לאירוע שמעולם לא קרה, וחישובים מתמטיים.

אז נכון, יש לי השגות על אופי החישוב, ועל כל ההסתברויות שניתנו פה אפשר להתווכח. אבל גם אם לא מסכימים עם כל השלבים, האם לא היינו מעדיפים שמי שמקבל החלטות ינקוט בחישובים כאלה?  האם לא סביר שמי שינקוט בתהליך הזה, גם אם יבחר במספרים שונים ממה שאנחנו היינו נותנים, יגיע לתשובה קרובה יותר לאמת?  כפי שעיתונאי הממלא את חובתו העיתונאית (להצליב מקורות, להיצמד לעובדות ולתת את זכות התגובה למושא הידיעה) מייצר כתבות הוגנות יותר, ומערכת המשפט עצמה היא הוגנת יותר כשמובטח התהליך השיפוטי (למשל, זכותם של התובע והנתבע להשמיע את גרסתם ולהביא עדים), גם הדרישה לבסס את כל דיון חשוב על הסתברויות כמותיות (אף אם הן לא בהכרח מוסכמות על כולם) עשויה להפוך אותו להוגן יותר, בממוצע, לכולנו.

והנה, כמו כדי להשלים את התמונה, ידיעה שהתקבלה בעת כתיבת שורות אלה. ועדה של האו"ם פרסמה ממש השבוע דו"ח על האירועים בחאן שייחון. הדו"ח קובע בביטחון שצבא סוריה אחראי להתקפה. סוריה ממשיכה להכחיש. לא הצלחתי להשיג את הדו"ח עצמו אבל הכתבה של הטיים מצטטת אותו:

According to the report, the JIM leadership panel concluded the Syrian military was behind the sarin attack based on the following “sufficient, credible and reliable evidence”:
—Aircraft dropped munitions over Khan Sheikhoun between 6:30 a.m. and 7 a.m. on April 4
—Syrian aircraft were “in the immediate vicinity” at that time.
—The crater was created that morning.
—The crater “was caused by the impact of an aerial bomb traveling at high velocity.”
—The number of people affected and the presence of sarin at the crater 10 days later “indicate that a large amount of sarin was likely released, which is consistent with it being dispersed via a chemical aerial bomb.”
—The symptoms of victims, their treatment and the scale of the incident “are consistent with a large-scale intoxication of sarin.”
—Sarin samples from Khan Sheikhoun were “most likely” made with a precursor chemical that was from “the original stockpile of the Syrian Arab Republic.”

איזה ניתוח נראה לכם יותר משכנע?  ההסתברות של רוטקליים בינתיים נותרה על כנה.  עדכון (20.11.2017): בעקבות ממצאי הדו"ח רוט-קליים עדכנו את ההסתברויות וכעת ההסתברות לכך שההפגזה הכימית היתה התקפה מכוונת של כוחות האופוזיציה עלתה ל-96.8%.

וויקיפדיה הסתברותית

ומה לגבי החלום שהניתוח ההסתברותי יכול להיות משהו שהרבה אנשים עושים ביחד?  אני מוכרח להודות שלאור הניתוח שנעשה בדוגמה שלעיל, נראה לי שהעתיד הזה עוד רחוק. המודל הבייסיאני, כמו כמעט כל מודל, מניח את ההנחות היסוד של יוצרו (כנאמר "כל המודלים טועים"). מקודדות בו תלויות ואי-תלויות, הנחות על התפלגויות של כל משתנה אקראי בהינתן הוריו, על הסיכוי של כל תוצאה בהינתן כל קומבינציה של סיבות אפשריות.  כל זה צריך להיות מוסכם לפני שאנחנו לוחצים על הכפתור שמחשב את ההסתברות של כל היפותיזה על סמך הראיות.

מי הולך לקבוע את ההסתברויות הללו? האם זו משימה אפשרית בכלל לקבוע כל כך הרבה הסתברויות, ולו באמצעות crowd-sourcing? הרי מספר התלויות והאי-תלויות עשוי להיות אקספוננציאלי, ההתפלגויות השונות יכולות להיות מעוצבות באינספור דרכים. האם זה בכלל פרודוקטיבי לדון על הסתברות לאירוע שברוב המקרים הוא היחיד מסוגו?  או כזה שיש עבורו מקרים בודדים פזורים לאורך שנים?  העולם הרי משתנה על הזמן. קצב השינוי הוא כזה שדאטה מלפני יותר מכמה חודשים אחורה עשוי להיות כבר לא רלוונטי לעכשיו. האם זה הגיוני לבקש מהציבור להתווכח על זה?  האם ניתן לעשות זאת מבלי לדרוש מהציבור לעבור קורס בסטטיסטיקה?  לאור המורכבות הנדרשת מהניתוחים שגם כעת נראים חסרים מאוד, השאלות הללו מטילות ספק באפשרות של קיום מודל קונצנזוסיאלי שיהווה מין וויקיפדיה הסתברותית.

Image result for harry potter and the methods of rationality

הארי פוטר ושיטות החשיבה הרציונלית

לקהילת Less Wrong התוודעתי אליה לראשונה כשקראתי (יותר נכון הקשבתי בפודקאסט) לפאן פיקשין "הארי פוטר ושיטות החשיבה הרציונלית", שכתב אליעזר יודקובסקי, איש מדעי המחשב, ומייסד הקהילה. דרך הספר מבקש יודקובסקי לספר לנו על נפלאות החשיבה הרציונלית. בספר מתואר סיפורו של הארי פוטר, תחת הנחה אחת שונה – הוריו המאמצים (והאוהבים) של הארי היו מדענים ולכן הארי חונך להיות אמון על המתודה המדעית. כשהוא נחשף לכשף בפעם הראשונה (רואה את פרופ' מקגונגל הופכת לחתול) הוא כמעט חוטף שוק, אבל אחרי כמה זמן מתעשת והסקרנות מביאה אותו להוגוורטס.  כשהוא רואה כמה נבערים הם התלמידים והפרופסורים בכל הקשור למדע, הוא מבין את הפוטנציאל הגלום בו – היכולת להפעיל את השיטה המדעית על עולם הכשף ובכך לשלוט עליו ולשכלל אותו אף יותר (מה ששם אותו במסלול להיהפך להיות Dark Lord). הארי פוטר של יודקובסקי מגיע לבית רייבנקלואו, נמצא בתחרות בלתי נגמרת עם הרמיוני, מתעלם מרון הטיפש ונכנס לידידות אמיצה עם דראקו מאלפוי שאיתו הוא מייסד את "הקנונייה הבייסיאנית". הוא בז למשחק הקווידיץ', ומשתמש בקמע החזרה-בזמן כדי לפתור בעיות NP-קשות.  הספר מהנה לקריאה, ודי מומלץ, לפחות בחלקו הראשון (לקראת האמצע הוא התחיל לייגע).

 

 

 

מודעות פרסומת
פוסט זה פורסם בקטגוריה Uncategorized. אפשר להגיע ישירות לפוסט זה עם קישור ישיר.

5 תגובות על סער וילף ושיטות החשיבה הרציונלית

  1. נועה גרנט הגיב:

    חן חן, קראתי את הראיון המקורי, ותהיתי איך יתכן. הניתוח שלך הוא בדיוק ברמה המתאימה (לי), בהיר ונוח לקריאה. אני עדיין תוהה, ולחלוטין לא משוכנעת (שהייתי מעדיפה שמקבלי החלטות יעשו חישובים כאלה בצורה מפורשת, ולא באופן מובלע, כפי שקורה ממילא). בכל אופן, המשך לכתוב. מחכה לפוסט הבא.

  2. נועה גרנט הגיב:

    יופי של בלוג, תודה רבה! (אכן נתקלתי במקור ותהיתי).

  3. סער הגיב:

    היי חבר,

    קודם כל סתחיין על הניתוח הכי רציני של המערכת שקראתי. עד עכשיו ההתנגדויות שקיבלנו היו או טעויות בהסתברות או "המסקנה שלכם בסיפור הזה שונה מהאינטואיציה שלי, אז המערכת שלכם sucks".

    בעקרון, אתה מצביע בפוסט בכמה אופנים שונים על אותה הבעיה: הרגישות של המסקנה לדיוק של האינפוטים. זה בהחלט פידבק נכון, אבל חשוב לדעת:
    1. הרגישות הזו היא לא בעיה של המערכת, אלא מתארת תופעה אמיתית בעולם. אם אכן יש אי-ודאות גבוהה לגבי העצמה של ראייה מסויימת, אי-הודאות הזו תעבור גם למסקנה. להתעלם ממנה ולצפות שהמח ידע לפתור את אי הודאות הזו באופן אינטואיטיבי זה גרוע בהרבה. נזכיר שאנחנו שואפים להיות less wrong…
    2. כפי שאתה יודע, (בתור מי שעזר לנו לתכנן את היכולת הזו…תודה!) בגרסאות עתידיות של המערכת נדע להתמודד גם עם אי-ודאות באינפוטים. מה שצפוי להעלות משמעותית את הדיוק במסקנות.
    3. בינתיים אנחנו עוקפים את הבעיה באמצעות בחירת מספרים שמנוגדים להיפותזה המובילה. זה אמנם מוריד את היכולת של המערכת להגיע לודאות מאד גבוהה, אבל מפחית מאד את הסיכון שההיפותזה המובילה תתברר כשגויה בעתיד.

    לגבי הניתוח של סוריה ספציפית – האופוזיציה אחראית לתקיפות הסארין בודאות מאד גבוהה. כאמור, כרגע המערכת מכויילת להערכת-חסר של ההסתברויות על המסקנות, אז בפועל זה הרבה מעל 89%.
    בקרוב גם נעלה עדכון של הניתוח על סמך הדו"ח החדש של האו"ם שציטטת. זה צפוי להיות עדכון מאד מעניין, שידגים מאד יפה את החולשה של ועדות חקירה לעומת שיטות הסקה הסתברותית.

    תודה!

  4. Assaf Lavie הגיב:

    חחחח חיכיתי וחיכיתי לרפרנס לhpmor ולא התאכזבתי. :)

  5. Nadav הגיב:

    לפי הבנתי מכונת ההסקה נשענת על נתונים סובייקטיבים ולא מלאים (למשל הנתון של מעורבות רוסית חיצונית במקרה ההפגזות בסוריה או האם למורדים או לאופוזיציה יש באמת נשק כימי) ולכן המסקנה תלויה בסך כל הנתונים (שתמיד יחסרו). תקן אותי אם אני טועה.

להשאיר תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת /  לשנות )

תמונת גוגל

אתה מגיב באמצעות חשבון Google שלך. לצאת מהמערכת /  לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת /  לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת /  לשנות )

מתחבר ל-%s