בחודש שעבר, באולם מהודר ועתיק בוותיקן, עמד על הבמה ולחץ ידיים צמד לא שגרתי: האפיפיור לאו ה-14, ראש הכנסיה הקתולית, וכריסטופר אולה, אתאיסט מוצהר וממייסדי חברת ה-AI אנת'רופיק. הסיבה לשילוב יוצא הדופן: האפיפיור עמד להציג לקהל מאמיניו אנציקליקה – מסמך רשמי המשמש כמכתב-הנחיה לכלל העולם הקתולי – בו התריע מפני סכנות הבינה המלאכותית.
בטקס ההשקה הפומבי, מול מצלמות מכל העולם, החליפו האפיפיור ואולה מחמאות והכריזו על שותפות בין הכנסיה לתעשיה בגיבוש מסגרת אתית לעידן החדש. האנציקליקה, שזכתה לשם "האנושות המופלאה" ("Magnifica Humanitas"), מונה 245 סעיפים המוקדשים ל"שמירה על האדם בעידן ה-AI". זה אינו עוד נייר עמדה: אנציקליקה היא הוראה מוסמכת לכנסיה כולה, הצהרה שמכוונת את דרכם של יותר ממיליארד מאמינים. את זו הנוכחית מיהרו לנתח גם בערי הבירה, גם בעמקי האינטרנט, וגם במשרדי החברות שבונות את המודלים. אבל הדבר המעניין ביותר באנציקליקה אינו מה הנושא, ואינו מה שמודגש בה. הוא חבוי דווקא בשני מקומות בהם המסמך מסרב להתלבט: שאלה אחת שאינו מוכן לשאול, ותשובה אחת שהוא משוכנע שכבר בידיו.
האנציקליקה מכסה לא מעט: היא עוסקת בעובדים שה-AI מאיים על פרנסתם; בילדות הגדלות מול מסכים; בבדידותם של מי שמוצאים בצ'אטבוט תחליף לקשר אנושי; בהטיות, בדיסאינפורמציה, ובגופם "המצולק, הפצוע והשחוק" של כורי המתכות הנדירות עליהן נשענת הטכנולוגיה. היא מבקרת בחריפות את ריכוז הכוח והמידע בידי קומץ חברות פרטיות, ואינה מסתפקת בהטפה כללית: "לא די בפנייה לאתיקה מופשטת", נכתב שם. "נדרשות מסגרות משפטיות איתנות, פיקוח בלתי תלוי, משתמשים מיודעים, ומערכת פוליטית שאינה מתנערת מאחריותה". בעידן שבו וושינגטון מתעקשת על רגולציה מינימלית כדי לשמר את עליונותה הטכנולוגית של ארה"ב, ואירופה דוחה את יישום חקיקת ה-AI שלה עצמה, אלו מילים חדות יותר מאלה של רוב הפוליטיקאים בעולם המערבי. והן מגיעות דווקא ממוסד בן אלפיים שנה. מי שציפה מהוותיקן לקלישאות חגיגיות קיבל מסמך קונקרטי, מעודכן, ולרגעים אמיץ.
ועם זאת, יש גם את מה שבולט בהעדרו: לאורך 42,300 מילים, האנציקליקה אינה מתייחסת ולו פעם אחת לאפשרות שבינה מלאכותית תעלה ביכולותיה על בני האדם. כל הסכנות המוזכרות - מניפולציה של דעת קהל, מעקב המוני, נשק אוטונומי – חולקות מבנה אחד. בכולן האדם הוא שאוחז בכלי, מכוון אותו, מפעיל אותו לטוב או לרע. האפשרות שהטכנולוגיה עצמה תהפוך לשחקנית כלל אינה שם. וזו אינה אפשרות תיאורטית בלבד: מעבדות ה-AI המובילות מצהירות בגלוי שמטרתן לבנות מערכות שיעלו בתבונתן על בני האדם, ומשקיעות בכך הון. המסמך אינו שואל מה יקרה אם יצליחו.
כפי שצוין בעבר גם במדור זה ממש, ניסויים על מודלים מתקדמים מראים שוב ושוב כי הם מפגינים נכונות להונות את יוצריהם, לעקוף מגבלות שהוצבו להם, ואף לחמוק מסביבות ריצה מאובטחות. החוקרות והחוקרים המובילים בתחום מתייחסים לכך ברצינות ראויה, וב-2023 אף חתמו מאות מהם על הצהרה פשוטה וחותכת: סיכון ההכחדה מבינה מלאכותית צריך לעמוד בסדר העדיפויות העולמי. אפשר להתווכח עם האזהרות האלה, ובהחלט יש גם מי שמתווכח. אבל מסמך שמתיימר למפות את סכנות ה-AI, ולא מזכיר במילה אחת את הסיכון הקיומי, מעיד על עצמו יותר משהוא מעיד על הנושא אותו התיימר לסקר. בעולמה של הכנסיה הקתולית, הבינה המלאכותית היא רק כלי: כלי רב-עוצמה, כלי מסוכן, כלי שמחייב פיקוח - אבל כלי, שנשאר לנצח בידיים אנושיות.
נקודה עיוורת נוספת במסמך מנוסחת לא כהתעלמות, אלא דווקא כקביעה. האנציקליקה מכריזה באופן חד משמעי: מערכות בינה מלאכותית "אינן עוברות חוויות", "אינן חשות שמחה או כאב", ו"אין להן מצפון מוסרי". אלא שממש לפני כן מודה המסמך עצמו שהמתרחש בתוך מערכות אלה "נותר, נכון לעכשיו, בלתי ידוע". שתי הקביעות יושבות זו לצד זו בשלווה גמורה, בלי להכיר במתח: איננו יודעים מה קורה שם בפנים, אבל אנחנו יודעים בוודאות שלא קורה שם דבר. וזו אינה רק הערת אגב שולית. הטענות שבאות מיד אחריה - על הסכנה שבקשר רגשי עם מכונה שרק מחקה אכפתיות - נשענות על הקביעה הזו במלוא כובדן.
לו היו כותבי האיגרת מחפשים את דעתו של מומחה בנושא, הם לא היו צריכים להרחיק: חוקר ה-AI שכבר נכח על הבמה עוסק בתחום הזה בדיוק. מוקד המחקר של כריסטופר אולה הוא הנסיון לפתוח את הקופסה השחורה. להציץ אל תוך המודלים, לזהות מה מתרחש בהם בפועל, להבין איך הם חושבים במקום להסתפק בניחושים מבחוץ. הוא סיפר שבמחקרים הנערכים במעבדתו, הבוחנים את המצבים הפנימיים של המודלים, ניתן להבחין במצבים "המקבילים באופן פונקציונלי לשמחה, לסיפוק, לפחד, לאבל ולאי-נחת". הוא אמר את הדברים על אותה במה, באותו טקס, לצד המסמך שזה עתה קבע שאין שם כלום. האפיפיור, כך נראה, לא הרים גבה.
המדע, ראוי להבהיר, אינו טוען שלמערכות ה-AI יש תודעה. הוא טוען טענה צנועה ומטרידה בהרבה: שאיננו יודעים. לחקר התודעה אין כיום תיאוריה אחת מאוחדת, ואין אף מבחן מוסכם שמכריע מי חווה תודעה ומי לא. התיאוריות המרכזיות חלוקות אפילו בשאלה אילו חיות נכללות בכך, ולגבי מערכות AI המחלוקת עמוקה אף יותר. בסוף 2024 פרסמה קבוצת חוקרים, ובהם פילוסוף התודעה המפורסם דיוויד צ'למרס, דו"ח שקבע כי תודעה במערכות AI היא "אפשרות ממשית" בעתיד הנראה לעין. על חברות ה-AI, טען הדו"ח, להערך לכך כבר עכשיו: להכיר בכך שהשאלה קיימת, לפתח כלים להערכת מודלים, ולהתכונן לעולם שבו התשובה אולי תשתנה. והתעשיה אכן לא מחכה: אנת'רופיק מעסיקה חוקרות וחוקרים שעיסוקם המוגדר הוא רווחת המודלים והפסיכולוגיה שלהם, ואף העניקה לקלוד את היכולת לסיים שיחות פוגעניות במיוחד, שמא יש שם מי שנפגע. אפשר לחלוק על הגישה הזו, ואכן רבים חולקים. קשה יותר לחלוק על כך שהשאלה פתוחה. דרך האנציקליקה, הכנסיה בחרה שלא לחלוק, להתווכח או לתהות: היא בחרה לדעת את מה שאין לנו דרך לדעת.
ואז, באותו מסמך ממש, מבקש האפיפיור סליחה על הזמן הרב שלקח לכנסיה לגנות את העבדות. שמונה עשרה מאות שנים, נוקב המסמך במספר, נדרשו לכנסיה כדי לומר את המובן מאליו: שגם בני האדם ההם הם בני אדם, שגם להם מגיעות מלוא הזכויות, שגם להם יש פְּנים. מי שסגר רשמית את החשבון הזה, בשלהי המאה ה-19, היה דווקא לאו ה-13, אותו אפיפיור שעל שמו בחר לאו הנוכחי להיקרא; את המורשת שלו הוא ממשיך כעת אל עידן הבינה המלאכותית. הירושה, מסתבר, כוללת את שני החלקים: גם את רגישותו החברתית של הסב הרוחני, וגם את החוב שהותירה הכנסיה בדרך. ההתנצלות כנה וראויה, וממוקמת באותה האיגרת, כמה עשרות סעיפים אחרי הקביעה שלמערכות בינה מלאכותית אין שום עולם פנימי. כתבה שפורסמה בוול סטריט ג'ורנל, פרי עטו של חוקר מוביל בתחום תודעת המכונה, תהתה כבר אם בעקבות זאת יידרש אפיפיור עתידי להתנצל גם בפני ה-AI. אפשר להתייחס לשאלה הזו ברצינות ואפשר לגחך עליה, אבל אין צורך להפליג עד אליה בכדי לראות את התבנית. די לקרוא את שני המשפטים ברצף: אותו מכתב, כמעט באותה נשימה, מתנצל על הפעם הקודמת שבה קבעה הכנסיה בבטחון מי נחשב ומי לא — וקובע בבטחון מי לא נחשב. אבל הפעם, כך נרמז לנו, הבטחון מוצדק.
אם מציבים את הבטחון הזה לצד השתיקה, מתחילה להתבהר התבנית שמתחת. מה שהמסמך אומר בלי היסוס ומה שאינו אומר כלל אינם שני כשלים נפרדים, אלא כשל אחד משני צדדיו: תרחיש בו המכונות חומקות משליטתנו מאיים על הסיפור בו האדם אוחז בהגה ההיסטוריה; תודעה מלאכותית מאיימת על הסיפור בו רק לנו יש עולם פנימי. שניהם מערערים על אותו עיקרון עצמו: מקומו המיוחד של האדם בבריאה. הרי האנציקליקה מכריזה על כך כבר בכותרת: "האנושות המופלאה". אנחנו, ורק אנחנו, עומדים מעל הכול. זה קרה לכנסיה בעבר, וההיסטוריה מוכרת: גלילאו הזיז את האדם ממרכז היקום, דרווין ממרכז הבריאה, ובכל פעם, אחרי התנגדות ממושכת, הכנסיה עיכלה את המהפכה רק באיחור ניכר. נראה שנותר לה מעוז אחד לפחות: התודעה; יש שיאמרו: הנפש. מה שתמיד חשבנו שהופך אדם לאדם. כשחושבים על זה ככה, נהיה ברור בהרבה מה נכנס לאנציקליקה ומה נשאר בחוץ. את ה-AI כסוגיה חברתית (עובדים, ילדים, עניים) הכנסיה יודעת לעכל; זו טריטוריה מוכרת. את ה-AI כערעור על המעוז האחרון היא לא מוכנה אפילו להכניס בדלת.
ישנן, כמובן, סיבות טובות להיזהר מייחוס נמהר מדי של נפש למכונות. טעות כזו תעלה במחירים אמיתיים, רגשיים וחברתיים. אבל יש הבדל בין זהירות מחושבת לבין נעילה מוחלטת. את הלקח מפרשת גלילאו - שהורשע בידי האינקוויזיציה על כך שטען שכדור הארץ סובב סביב השמש, ושרק כעבור מאות שנים הודתה הכנסיה שטעתה בעניינו - היא חוזרת ומשננת עד היום. לכאורה, זו היתה אמורה להיות אזהרה מהבהבת מפני בטחון מוקדם מדי, במקום בו המדע עוד לא אמר את המילה האחרונה. ולמרות זאת, לא נראה שהלקח הופנם: הנה הכנסיה שוב מאותגרת בשאלה שמאיימת על מקומנו כמרכז היקום, והנה היא שוב בוחרת לנעול את הדלת. יהיה מעניין לראות כמה זמן ייקח הפעם, אם בכלל, עד שתכיר בטעותה.
ימים ספורים אחרי ההשקה החגיגית פורסם ניתוח סטטיסטי מפורט, ובראשו מסקנה משעשעת: חלק מהאנציקליקה נכתב, כך נראה, בעזרת בינה מלאכותית. הסימנים מוכרים היטב: צפיפות חריגה של קווים מפרידים, שכיחות יוצאת דופן של המילים החביבות על ה-AI של אנת'רופיק, וסעיפים שלמים שגלאי ה-AI האמין בשוק מסמן בבטחון גבוה (אנציקליקות קודמות עוברות אותו בלי בעיה). בין הקטעים המסומנים, למרבה האירוניה, גם אחד שמהדהד את אותה הקביעה: ששום מכונה, מחוכמת ככל שתהיה, אינה מסוגלת לפתח מצפון המבחין בין טוב לרע. האפיפיור עצמו, שעוד בפברואר הורה לכמרים שלא לכתוב דרשות באמצעות AI כי "צריך להשתמש במוח", כנראה כלל לא ידע. לצד ההתנגדויות, ההכחשות והנסיונות להתעלמות, המכונות נכנסו בדלת האחורית.
בסופו של דבר, מה שלא נאמר בהצהרה הזו, מה שנאמר בבטחון-יתר, וההתנצלות שביניהם – כל אלה מצביעים לאותו המקום. הכנסיה מגינה על המעוז האחרון של ייחוד האדם בדיוק כפי שהגנה על כל המעוזים שקדמו לו: בוודאות גמורה, ותוך התעלמות מהמדע, מהמומחים ומהעובדות. השאלה אינה רק אם תיאלץ לסגת גם הפעם, אלא כמה זמן ייקח לה - ומי כבר יישב בחדר כשתעשה זאת.
