מפלגת המחשבות - פרק 140 – מהפכת הבינה: דיסטופיה
- רוני גונן שמחוני
- Dec 14
- 21 min read
יש מי שחולם ש-AI יפתור את כל הבעיות של האנושות. ויש מי שמזהיר שאנחנו דוהרים אל תוך תרחיש בלהות, שעוד יגרום לנו להתגעגע לכל הצרות הישנות. בפרק הקרוב נקשיב לנביאי הזעם שמתריעים מפני הבהלה לסופר אינטליגנציה, ונשאל האם מ-״מרוץ החימוש״ הזה כולנו עלולים לצאת מפסידים.
תאריך עליית הפרק לאוויר: 18/11/2025.
קריין: אתם מאזינים להסכת של "בית אבי חי".
[מוזיקת פתיחה, רצף הקלטות]
חיים יבין: "כן, כנראה מהפך…"
Donald Trump: “Everyone is talking about artificial intelligence. Not artificial, it’s genius.”
Sundar Pichai: “It’s more profound than fire or electricity or…”
Sam Altman: “AI will be the most powerful technology humanity has yet invented.”
Naftali Bennett: “New dimensions will emerge.”
Jensen Huang: “The greatest technology equalizer of all time.”
Yuval Noah Harari: “It is not a tool, it is an agent.”
Elon Musk: “Mark my words, AI is far more dangerous than nukes.”
[מוזיקת רקע]
אפרת: שלום, אני אפרת שפירא רוזנברג ואתן מאזינות ומאזינים ל"מפלגת המחשבות", ההסכת שבו מיכה גודמן ואני מדברים על הרעיונות שמאחורי הפוליטיקה. ובעונה הזאת, על הרעיונות שמאחורי המהפכה הגדולה שבדרך, מהפכת הבינה. בפרק הקודם חגגנו את קיצן של כל הבעיות. התפוצצות אינטליגנציה שתייצר ישויות בעלות IQ לא מוגבל, עשויה להוביל לעידן חדש שבו אין מחלות, עוני או משאבים מוגבלים. ואז, אפילו השמיים כבר אינם הגבול. ברוכים הבאים לעולם שכולו טוב. אבל אולי השמחה הייתה מוקדמת. יש מצב שעוד נתגעגע לימים בהם בני אדם מתו ממחלות. כי ייתכן והאלטרנטיבה תהיה הרבה יותר גרועה. באופן מפתיע, הפעם תרחישי האימה האלה לא מגיעים ממתנגדי הטכנולוגיה או מהלוחמים נגדה, אלא מלב ליבה של התעשייה עצמה. אז, האם אנחנו צועדים אל עבר אוטופיה או דיסטופיה? תלוי מה ה-P(doom) שלכם.
שלום, מיכה.
ד"ר גודמן: שלום, אפרת.
אפרת: אז פתרנו את כל הבעיות?
[מוזיקה מסתיימת]
ד"ר גודמן: הממ…
אפרת: כל הבעיות, סרטן והתחממות גלובלית ומלחמות ו… פקקים…
ד"ר גודמן: עוני.
אפרת: ו… מחירי הדירות, הכל פתרנו. הכל פתרנו.
ד"ר גודמן: לא אנחנו.
אפרת: החברים שלנו.
ד"ר גודמן: [מצחקק] אה, כן.
אפרת: האינטליגנציה שמחוץ לגולגולת שלנו…
ד"ר גודמן: כן.
אפרת: פתרה לנו את כל הבעיות. אבל אה… יכול להיות שמגיע לנו מזל טוב ונולדו לנו בעיות חדשות.
ד"ר גודמן: כן.
אפרת: בוא ננסה למפות איזה בעיות עשויות להיווצר מ… הפתרון של כל הבעיות האחרות.
ד"ר גודמן: בעצם, בעמק הסיליקון נוצר אקוסיסטם. אקוסיסטם של היזמים של הטכנולוגיה הזאת, כמו סם אלטמן, כמו דמיס הסביס, כמו דריו אמודיי, זה של אנטרופיק. ושל המשקיעים, כמו למשל אממ…
אפרת: אילון מאסק.
ד"ר גודמן: אילון מאסק, ויש ו… ו… ויש גם כן תיאורטיקנים של AI כמו למשל, הזכרנו אותו, ניק בוסטרום, הפילוסוף השוודי. או כמו אליעזר יודקובסקי. או… וכל הדמויות האלה מדברים אחד עם השני והם יצרו מרחב שיח שיש בו אוצר מילים משל עצמו ותיאוריות משל עצמו וזה, כזה, מסתובב ביניהם ויש המון… גם מדענים כמו יאן לקון ממטא, זה כל מיני דמויות. ובלב המרחב שיח הזה, זה שיחה פנימית שלהם כאילו [מצחקק], אבל אנחנו… אבל בלב המרחב שיח הזה, עומדת השאלה הבאה, האם נגיע לסופר אינטליג'נס? שאלה אחת. ואם נגיע לסופר אינטליג'נס, מה זה יעשה למציאות?
אפרת: מה ההשלכות של זה?
ד"ר גודמן: זאת שאלה שנייה. וכשהם אומרים, "אם נגיע לסופר אינטליג'נס…" יש לרבים מהם תרחישי אימה. ואנחנו ננסה למפות כאן את תרחישי האימה המרכזיים שהם, היזמים, [מצחקק] אלה שמייצרים את הטכנולוגיה הזאת מדברים עליהם.
אפרת: זאת אומרת, זה לא מה שאנחנו הולכים לדבר עליו עכשיו, זה לא אנחנו מדברים על מה שהם עושים. זה הצצה למה שהם אומרים שהם עושים.
ד"ר גודמן: אנחנו עכשיו הולכים, כשירות למאזינות ולמאזינים שלנו, להקשיב לשיחה שלהם, למרחב שיח שלהם, ולשלוף משמה שלושה תרחישים או למפות שלושה תרחישי אימה. תרחיש אחד הוא תרחיש השתלטות, שה-AI משתלט עלינו, אם זה סופר אינטליג'נס. ושני תרחישים של… לא שהוא ישתלט עלינו אלא שהוא פשוט…
אפרת: משמיד אותנו.
ד"ר גודמן: ישמיד אותנו. סבבה, זה היה כיף של הפרק של היום.
אפרת: תודו לנו אחר כך.
ד"ר גודמן: אז נצא לדרך עם תרחיש ההשתלטות. ג'פרי הינטון, קוראים לו The Godfather of AI, כאילו הסנדק של ה-AI. ושנים הוא עבד בגוגל והתובנות שלו ופריצות הדרך המדעיות והמחשבתיות שלו סללו את הדרך למכונות הלומדות האלה שבעתיד יהפכו לג'מניי ולכל ה… זה הוא, זה הכל מגיע ממנו.
אפרת: וזה לא הוא שגם התפטר ועזב ואמר אה…
ד"ר גודמן: ו… הפריצות הדרך שהוא עצמו הצליח לבשל, ג'פרי הינטון, הוא קלט - אוי לא, הדבר הזה מסוכן.
אפרת: הממ…
ד"ר גודמן: ואז האיש שעומד מאחורי פריצת הדרך של ה-AI, הבין שהוא לא יכול להישאר בגוגל ולהיות נביא הזעם שמתריע בפני הסכנות של ה-AI, אז הוא עזב את גוגל. ומאז הוא מקדיש את החיים שלו בשביל לספר לנו, לשאר בני האדם, לאן הדבר הזה יכול ללכת.
אפרת: מה שנקרא Gee, Thanks!
ד"ר גודמן: כן. [צוחקים]
אפרת: תודה שפיתחת ועכשיו אתה קצת מתחרט.
ד"ר גודמן: יש כאן פרדוקס מדהים. הרי מה זה טכנולוגיה? פילוסופים של טכנולוגיה מדברים על זה ככה, Technology is about Power. טכנולוגיה זה הגילוי הכי מזוקק של האלכימיה הגדולה, של הפיכת ידע לכוח. מאיפה מגיע הידע? מהמדע. מה מדענים עושים? הם מנסים להבין את העולם. הם מנסים להבין מה הם החוקים הבלתי נראים שאליהם מצייתים כל הדברים הנראים. כולם ראו דברים נופלים. ניוטון הוא זה שהבין מה החוק שהדברים הנופלים מצייתים לו. דברים נופלים הם נראים, החוק, גרביטציה, הוא בלתי נראה. זה מה שהמדענים עושים. הם מגלים את הבלתי נראה, שכל המציאות הנראית כפופה אליה. ולמה מדענים עושים את זה? כי העולם הזה הוא כל כך מעניין. זה ההסבר של אריסטו דרך אגב. כן. "כל בני האדם שואפים מטבעם אל הדעת". זה המשפט הפותח של המטאפיזיקה. אנחנו מנסים להבין את העולם, למה? ככה.
אפרת: פשוט ככה, כי זה מעניין, זה כיף.
ד"ר גודמן: כי זה האנושיות שלנו. רוצים להבין. זה מה שעושים אנשי מדע. מה עושים יזמים טכנולוגים? מה עושים ממציאים? הם לוקחים את הידע והופכים אותו לכוח.
אפרת: הממ…
ד"ר גודמן: הם הופכים את ה… מה שהבנו על העולם לכלים שמגבירים את השליטה שלנו על העולם. [מתלהב] אתה לוחץ על כפתור, בום! יש אור. לוחץ על כפתור אחר, בום! יותר חם בחדר. לוחץ על כפתור אחר, בום! הקול שלך נשמע עכשיו באוסטרליה. [מצחקק] איך זה קרה? כן. מרוב ההבנה שלנו את העולם - הפכה לשליטה שלנו על העולם. זה מה שטכנולוגיה עושה. מוצרים טכנולוגיים הם תוצאה של הפיכת ידע לכוח. ובני האדם מפתחים טכנולוגיה מהרגע שהם בני האדם, האמת היא, אפילו מלפני שהם בני אדם. האש והגלגל ומנוע הקיטור והחשמל והאינטרנט וכל הזמן יש פריצות דרך טכנולוגיות שהולכות ומגבירות את מידת השליטה שבני האדם על העולם. עד שהגענו לשיא. והשיא של כל ההיסטוריה של הטכנולוגיה, שזה ההיסטוריה של האנושות, ההיסטוריה של הגברת מידת השליטה שלנו על העולם דרך המצאות טכנולוגיות, השיא זה ה-AI והאפשרות ל-Super AI. על פי התרחיש של הינטון ולא רק של הינטון, הוא פשוט המנסח הכי טוב של זה, אנחנו עומדים כאן על סף ההיפוך הדרמטי ביותר בהיסטוריה האנושית. טכנולוגיה הגבירה את השליטה שלנו, הגבירה את השליטה שלנו, עד שהגענו ל-AI ואיבדנו את השליטה שלנו.
אפרת: ולא רק שאיבדנו את השליטה שלנו, אלא היא משתלטת עלינו.
ד"ר גודמן: היא משתלטת עלינו. ממש הדאו.
אפרת: הממ… בכיוון ההפוך, זאת תנועת הדרך.
ד"ר גודמן: הגברנו את השליטה, הגענו ל…
אפרת: לא עצרנו בזמן…
ד"ר גודמן: לא עצרנו בזמן, ומרוב שהגברנו את השליטה…
אפרת: איבדנו שליטה.
ד"ר גודמן: איבדנו את החירות שלנו.
אפרת: אבל שנייה, זה לא מובן מאליו. למה שהדבר הזה, הישויות האלה או איך שלא נקרא להם, למה שהם ירצו להשתלט עלינו ולהרע לנו? למה לא לדמיין תרחיש שלפיו הם פשוט עושים את הדבר שלשמו הם באו לעולם, או שלשמו הם תוכנתו, שזה - להיטיב איתנו, לשרת אותנו, לפנק אותנו. למה לדמיין את הרע מכל?
ד"ר גודמן: אז ההשערה שהישויות הסופר אינטליגנטיות האלה פשוט ישתלטו עלינו, מבוססת על… ההשערה הזאת ביחס לעתיד מבוססת על העבר. על האופן שבו… הרי בני אדם זה אינטליגנציה. והסיפור של האבולוציה של האינטליגנציה האנושית, עשוי ללמד אותנו מה יקרה מהאבולוציה שהיא אינטליגנציה שהיא איננה אנושית, שהיא זרה לנו. והסיפור המדעי על האבולוציה של האינטליגנציה האנושית, זה הסיפור של האבולוציה, של הברירה הטבעית. וכאן יש סיפור שאם נקשיב לו, נקשיב למה שקרה בעבר, אולי זה ילמד אותנו מה הולך לקרות בעתיד. אז הזינוק שלנו, של בני אדם, אל עבר אינטליגנציה התחיל לפני בין 5 ל-7 מיליון שנה.
אפרת: הממ…
ד"ר גודמן: כשהיינו פרימטים, כשהיינו כזה על העצים. והיה שלב אחד, לא יודע מתי, לפני בין 5 ל-7 מיליון שנה, שאחד מאבות אבות אבות אבותינו ירדו מן העצים. על פי סיפור מכונן אחד, הרגע שיצר את האנושיות, זה הרגע שבו אכלנו מן העץ.
אפרת: הממ…
ד"ר גודמן: על פי סיפור אחר, זה הרגע שבו…
אפרת: ירדנו מהעץ.
ד"ר גודמן: ירדנו מהעץ. התחילו ללכת על שתיים.
אפרת: אגב, לפי הסיפור שבו אכלנו מהעץ, אכלנו מעץ הדעת.
ד"ר גודמן: נכון. כן.
אפרת: זה הזינוק לאינטליגנציה. הרגע שבו אכלנו מעץ הדעת.
ד"ר גודמן: פה ירדנו מהעץ והתחלנו לפתח דעת. באיזה מובן? החיים בסוואנה של אפריקה זה חיים אכזריים מאוד, שבו אתה בתוך שרשרת המזון.
אפרת: הממ…
ד"ר גודמן: ואיך אמר קומיקאי גדול? "It sucks living inside the food chain". [צוחקים]
אפרת: איך נראים החיים בתוך שרשרת המזון?
ד"ר גודמן: אתה קם בבוקר ואתה שואל שתי שאלות. האם אני אצליח להשיג מספיק קלוריות כדי לא למות היום? לא מובן מאליו. ושאלה אחרת, יותר מטרידה אולי, האם אני אצליח לא להיות קלוריות?
אפרת: של מישהו אחר.
ד"ר גודמן: [מצחקק] נכון. האם אני ישיג אוכל או שאני יהפוך לאוכל? אלו… בתנאים של איום ושל מחסור, בתנאים האלה אבות אבותינו צריכים להתמודד, וטכניקת ההתמודדות שלהם לא הייתה לפתח מהירות יוצאת דופן, כמו נניח הצ'יטות. או לפתח כוח יוצא דופן. או לפתח יכולת להסוות את עצמם, או לפתח רעל כזה בלשון, לא. אנחנו פיתחנו טכניקה, הישרדות אחרת.
אפרת: המוח שלנו.
ד"ר גודמן: שכל, אינטליגנציה. ואז התחיל הזינוק שלנו לאינטליגנציה.
אפרת: זאת אומרת, יש כאלה שהיה להם צוואר ארוך…
ד"ר גודמן: [צוחק] כן…
אפרת: בשביל שהם יגיעו לראש העץ.
ד"ר גודמן: כן.
אפרת: יש כאלה שגידלו קרום בין האצבעות כדי שהם יצליחו לשחות בתוך המים.
ד"ר גודמן: נכון.
אפרת: יש כאלה שגידלו רגליים ארוכות, יש כאלה זה… אנחנו גידלנו מוח.
ד"ר גודמן: את הגולג… נכון. ובתקופה הזאת הגולגולת שלנו יותר משילשה את גודלה. בפרק זמן שהוא נשמע הרבה זמן אבל תכל'ס, אם יש חיים 3.8 מיליארד שנה, 5 מיליון שנה זה כזה, זה שבריר שנייה. עשינו זינוק אל עבר אינטליגנציה. גידלנו מוח מטורף שיכול לשתף פעולה עם בני אדם אחרים, שיכול לתכנן, שיכול לבחור ויכול ליצור טכנולוגיה ויכול ליצור… כן, הדבר הזה ומה קרה לנו כשהתחלנו להגדיל את הנפח של הגולגולת? [מצחקק] מה קרה לנו?
אפרת: יצאנו מתוך שרשרת המזון לראש שרשרת המזון.
ד"ר גודמן: אין שינוי יותר דרמטי מזה. אנחנו בראש שרשרת המזון. כשאנחנו הולכים לגן חיות, אנחנו מבקרים את החיות. הם לא מבקרות אותנו.
אפרת: הממ…
ד"ר גודמן: כן. אנחנו שולטים, אנחנו הגמונים. ומה הפך אותנו להגמונים של הכדור? השכל. הסיפור של ההתהוות האנושות, הסיפור עם לקח אחד שניקח. הזינוק, התנועה אל עבר אינטליגנציה הייתה תנועה אל עבר כוח, אל עבר שליטה. למה אנחנו הגמונים ולא הגורילות? ולא הדגים? למה זה אנחנו? [אפרת צוחקת] כי לנו יש הכי הרבה שכל, זה למה. טכניקת ההישרדות שלנו גרמה לנו לצאת משרשרת המזון. אוקיי… האם יש כאן איזשהו עיקרון בסיסי של המציאות?
אפרת: העיקרון הוא, כך אומרת הטענה, ש… מי שהכי אינטליגנטי, שולט על כל הישויות הפחות אינטליגנטיות. זה כאילו הכלל שאפשר לחלץ מתוך הדבר הזה.
ד"ר גודמן: ואם זה נכון, ואם הכלל הזה הוא אמיתי - שתמיד הישות היותר אינטליגנטית שולטת על הפחות האינטליגנטית - אז אנחנו מבינים לאן זה נוסע.
אפרת: כן, אם יש ישות שלצורך העניין יש לה 1000 IQ.
ד"ר גודמן: נכון. שאנחנו אפילו לא נוכל להבין אותה.
אפרת: זה קצת כמו לדמיין מצב שבו הכלב שלי הוא זה שכזה… מחליט את ההחלטות בבית וזה שולט על כולנו.
ד"ר גודמן: נכון. [צוחק]
אפרת: שבמידה רבה יש בזה גם סוג של אמת. [צוחקים] בסוף הוא קובע לנו הרבה דברים. אבל, כאילו, קשה לדמיין מצב שבו ישויות כל כך לא אינטליגנטיות שולטות על הישות הסופר אינטליגנטית הזאת.
ד"ר גודמן: זה יהיה הפוך. זה הטענה. אנחנו מייצרים ישות שהיא יותר אינטליגנטית מאיתנו והיא תשלוט עלינו.
אפרת: זאת אומרת, הם יבואו לבקר אותנו בגן חיות.
ד"ר גודמן: [מצחקק] נכון. אני לא יודע איזה סידור יהיה להם, מה הם יעשו איתנו. אבל בוא נאמר, אנחנו מאבדים את ההגמוניה שלנו, את השליטה שלנו. זאת המהפכה הגדולה שאנחנו יוצרים במו ידינו. בדרך כלל מהפכנים לוקחים כוח. אנחנו יוצרים כאן מהפכה טכנולוגית שתיקח מאיתנו את כל הכוח. הם ישתלטו עלינו.
אפרת: אז זה סנריו אחד.
ד"ר גודמן: זה סנריו אחד.
אפרת: זו בעיה אחת שיכולה לקרות, וזה בעיית ההשתלטות.
ד"ר גודמן: את יודעת, תרחיש ה-takeover של ה-AI, שה-AI ישתלט עלינו הוא מוכר והוא מוזר. הוא מוכר כי כל ספרות המדע בדיוני היא כזה - יבוא יום שחללית עם חייזרים תגיע לכדור הארץ, והחייזרים יהיה להם טכנולוגיה מתקדמת ויהיו הרבה יותר אינטליגנטים מאיתנו.
אפרת: והם ישתלטו עלינו.
ד"ר גודמן: ישתלטו עלינו. נכון, כל הסרטים, כל הסיפורים, כל הזה, נכון? על פי התרחיש ההשתלטות, תרחיש האימה הזה על סף להתרחש. החללית עם החייזרים הסופר אינטליגנטים בדרך, רק עם טוויסט אחד בעלילה. זה לא בינה זרה שמגיעה אלינו, זאת בינה זרה שאנחנו מייצרים. אנחנו מייצרים את הבינה שתשתלט עלינו. זה טוויסט…
אפרת: אנחנו מייצרים את החייזרים.
ד"ר גודמן: אנחנו מייצרים את החייזרים.
אפרת: זאת הבעיה הראשונה, בעיית ההשתלטות.
ד"ר גודמן: כן.
אפרת: מה שמוביל אותנו לבעיה הבאה.
ד"ר גודמן: יש בעיה אחרת שגם עליה מדברים הרבה. וזה בעיה לא שה-AI ישתלט עלינו, אלא שהוא פשוט [מוריד את הקול] ישמיד אותנו. עוד בעיה קטנה.
אפרת: באנו להרים.
ד"ר גודמן: כן. איך זה נראה? כשאנחנו מנסים לעשות כאן סדר בכל הבעיות המדוברות, אז בעיה שהוא ישמיד אותנו, יש לזה, אולי, שתי סנריואים שונים. אחד זה מה שנקרא The Alignment Problem.
אפרת: Alignment זה קצת כאילו להיות אה מיושר.
ד"ר גודמן: בעיית היישור, כן. חושב שראיתי, ככה זה גם מתורגם. בעיית היישור. אוקיי, הוא לא בא לשלוט עליך, הוא יהיה מאוד אינטליגנטי אבל הוא יציית לכל מה שתגיד לו לעשות. אז הבעיה היא שתוך כדי שהוא מציית להנחיות שלך, בגלל שהוא יציית באופן ליטרלי, מילולי, למה שאתה אומר, על הדרך, כהשלכה לא מתוכננת, האנושות תושמד.
אפרת: במילים אחרות, הוא קצת טמבל.
ד"ר גודמן: [צוחק] כן.
אפרת: ובמובן הזה למה זה נקרא Alignment? למה הוא לא מיושר? כי הוא לוקח את מה שאומרים לו והוא לא מיושר עם עולם הערכים שלנו, עם הסאבטקסט של… אפרופו מה שדיברנו בפרק הקודם שלהיות בן אדם זה אינטליגנציה כללית…
ד"ר גודמן: נכון.
אפרת: זה קודים, זה דברים שכולנו עושים אותם ומבינים אותם בלי מילים, בלי להתכוון, בלי לרצות. והוא יהיה קצת טמבל ולא יבין את כל הדברים האלה, את כל המסרים האלה, את כל הערכים האלה שמונחים בתשתית הקיום האנושי שלנו…
ד"ר גודמן: אנחנו אפילו לא יודעים…
אפרת: בלי לדבר אותם.
ד"ר גודמן: …שכשאנחנו נותנים למישהו הנחיה, מה כל ההנחות המובלעות בהנחיה הזאת, אנחנו אפילו לא מודעים אליהם.
אפרת: כמו למשל…
ד"ר גודמן: אז הנה דוגמה ל-The Alignment, הפעם ממש בקטן. נותנים ל-AI לשחק שח נגד AI אחר שהוא מומחה לשח. ורצו לראות כאילו… עשו איזשהו ניסיון איך הוא מתמודד אם… הוא מומחה למשהו אחר לגמרי, איך הוא מתמודד עם AI שהוא מומחה לשח. ונותנים לו הנחיה, מה ההנחיה? "תעשה הכל כדי לנצח אותו".
אפרת: "תנצח אותו בכל מחיר".
ד"ר גודמן: כן. אז מה הוא עשה? הוא עשה מתקפת סייבר [צוחקים] על ה-AI שמולו, שיבש אותו וככה ניצח אותו בשח. וכזה, הבני-אדם כזה, "לאאא אידיוט! רצינו שתשחק שח". אבל ה-AI כזה, "לא, אמרתם לי לנצח". אוקיי, מה הייתה הבעיה כאן? שהוא מימש את הנחיה, הוא ניצח אבל הוא לא…
אפרת: הוא לא הבין מה הייתה המטרה.
ד"ר גודמן: אבל זה לא היתה רוח ההנחיה.
ד"ר גודמן: כן. יש משחק מחשב כזה ש… אתה מפליג בים, יש מעין תחרות בינך לבין שחקנים אחרים, ומי שבהפלגה, מי שצובר הכי הרבה נקודות מנצח. ואיך אתה צובר נקודות? אתה צריך להפליג מאוד מאוד מהר, ואז אתה מגיע לכל מיני תחנות עגינה כאלה, אתה נכנס לנמל, מתדלק, צובר נקודה, ממשיך להפליג. אז כולם מנסים להפליג הכי מהר שלהם, לנצח אחד את השני, לצבור כמה שיותר נקודות. ואז הכניסו למשחק הזה AI. ואמרו לו, המשימה שלך? לנצח. מה הוא עשה? הגיע לנמל הראשון, ונכנס ויצא, נכנס ויצא. כל פעם שהוא נכנס, הוא צבר נקודה. אז כזה אומרים לו, "אה, לאא…" אז הוא אומר, "הנה ניצחתי, צברתי הכי הרבה נקודות".
אפרת: [מגחכת] כזה הילד המעצבן בכיתה שזה מה שהוא עושה וכזה כולם אומרים "אוי, טוב נו, ילד כאפות".
ד"ר גודמן: "הכוונה היא שתפליג ות…" -"לא, אבל זה לא ההנחיה שנתת לי".
אפרת: אבל למה זה כל כך מסוכן? למה בקצה של הסנריו הזה האנושות יכולה להיות מושמדת?
ד"ר גודמן: אוקיי, אז יושב אז יושב ילד בכיתה י"א. מתוסכל מזה שהוא לא מספיק חכם, כולם יותר מבינים ממנו וחכמים ממנו ואומר ל-AI שלו, לסופר אינטליג'נס שלו, "תעשה אותי הכי חכם בעיר". והוא כנראה מתכוון, תלמד אותי, לא יודע, תעשה לי ניתוח במוח, לא יודע. תעשה אותי הכי חכם בקבוצת הגיל שלי. ואז ה-AI מבין, הדרך הכי מהירה, אקונומית, פשוטה, לעשות אותו להכי חכם זה לעשות איזשהו תאונה, איזושהו תשתיות כימיות ולהרוג את כל קבוצת הגיל שלו. ושיבואו בטענות ל-AI, "רגע, מה עשית?" מה הוא יגיד?
אפרת: "אבל זה מה שהוא אמר לי לעשות".
ד"ר גודמן: "זה מה שהוא אמר לי לעשות".
אפרת: עכשיו הוא הכי חכם.
ד"ר גודמן: עכשיו… בדיוק. זה ה-Alignment Problem. דרך אגב, איך פותרים את… אם יכול להיות שה-AI יגיד לו, "תפתור בבקשה התחממות גלובלית". ואז הוא יגיד, "מה האיום הגדול ביותר שיש על האקלים?"
אפרת: בני אדם.
ד"ר גודמן: אה, בני אדם. אוקיי, אלו דוגמאות שונות ל-Alignment Problem. כמות הבעיות שיכולות להיות כאן, מהאפקט המצטבר שלהם, יכול להוביל לחורבן. יש להניח… אחד מהמומחים, הפילוסופים הכי חשובים והמפחידים ביותר של טכנולוגיה היום, אליעזר יודקובסקי, אומר "The Alignment Problem…" הוא סבור בסבירות מאוד מאוד גבוהה, "הולך להוביל לחורבן העולם".
אפרת: וואו.
ד"ר גודמן: כן. הוא אומר, אנחנו צריכים לעצור עכשיו את כל הפיתוח של הטכנולוגיה הזאת. The Alignment Problem הולך להביא אסון.
אפרת: זאת אומרת, מבחינתו כזה המטוסים של חיל האוויר לא צריכים לצאת להפציץ באיראן, הם צריכים ללכת להפציץ…
ד"ר גודמן: את כל חוות השרתים כדי להציל את האנושות.
אפרת: כן.
ד"ר גודמן: תראי, תמיד יש סכנות במוצרים טכנולוגיים. איך זה עובד תמיד? אתה משחרר לעולם מוצר טכנולוגי, פתאום יש כל מיני תאונות, ואז לומדים איך עושים את זה בצורה בטוחה יותר.
אפרת: ומשפרים אותו. משפרים את המוצר.
ד"ר גודמן: כן. הרכב הפרטי יצא לעולם בלי חגורת בטיחות. לא ידעו, לא חשבו על זה.
אפרת: ברור, גם היו שמים אותנו בבגאז'.
ד"ר גודמן: באמת?
אפרת: אצלכם לא? היה לנו אוטו כזה סטיישן והיינו נוסעים כזה לטיולים ארוכים, גרנו בארצות הברית אז, כזה טיולים ארוכים ברחבי ארצות הברית והיינו יושבים, הילדים הקטנים, מאחורה, בבגאז' של הסטיישן, והיה לנו כזאת צידנית, זה היה כמו שולחן והיינו מציירות על זה כזה בדרך. [צוחקת]
ד"ר גודמן: כן. זה בטיחותי.
אפרת: מאוד בטיחותי.
ד"ר גודמן: החגורת בטיחות של אמא שלי היה היד שלה. היא הייתה כזה שמה את היד עליי כזה כדי שאני לא… אז אני אומר אוקיי… ואז הבינו שהיו… הרבה אנשים מתו, אז אמרו, "היי, בוא נשפץ". הפתרון הוא - חגורת בטיחות.
אפרת: כריות מתנפחות.
ד"ר גודמן: אוקיי, אתה שולח טכנולוגיה לעולם, הוא מתחכך עם מציאות, עושה טעויות, ואז אתה אומר, "נשפץ אותה." יש רק בעיה אחת עם ה-AI. אין מרחב טעות. נשלח את זה לעולם, אה ואז נבין, אה אוי לא…
אפרת: הוא השמיד את העולם, בוא נחזיר לתקן אותו.
ד"ר גודמן: כן. פשוט זה טכנולוגיה שצריך להבין, לחזות מראש את כל התאונות שהוא יעשה ולתקן אותם עוד לפני שהוא יעשה אותם, בגלל שפה אין…
אפרת: אין שוליים.
ד"ר גודמן: אין שוליים.
אפרת: זה כביש לא סבלני.
ד"ר גודמן: נכון. אין שוליים.
אפרת: הדרך הזאת היא לא סבלנית, כמו שאומרים.
ד"ר גודמן: אז זאת בעיה אחת, זה בעיה…
אפרת: זה תרחיש אחד של השמדה. אבל זה לא התרחיש היחיד.
ד"ר גודמן: נכון.
אפרת: יש עוד תרחישי השמדה.
ד"ר גודמן: הרי תחשבי, The Alignment Problem, את אמרת את זה בשיחה קודם, כשעוד לא היינו מוקלטים, שה-Alignment Problem זה ההיפוך של ה-Takeover Problem. בעיית ההשתלטות זה שהם ישתלטו עלינו. מה זה The Alignment Problem? שהם יצייתו לנו.
אפרת: כן, אבל הם יצייתו לנו כאילו…
ד"ר גודמן: כמו פוצים.
אפרת: כמו טמבלים, כן.
ד"ר גודמן: כן. [מצחקק] אז אוקיי, אלו שתי בעיות שונות, אבל עכשיו יש תרחיש השמדה אחר. וזה בעיית הסוכן הרע. אנחנו עד היום חיינו בלי לשים לב שהיה מין איזשהו חוק מארגן למציאות. והחוק הוא הבא: יש סימטריה בין הגודל של הגוף למידת ההרס שהוא יכול ליצור. נניח, אדם, ארגון, מדינה, ככל שהישות, שהגוף הוא יותר גדול, כך כמות ההרס שהוא יכול לזרוע במציאות יותר גדולה. גוף גדול - הרבה הרס, גוף קטן - מעט הרס, כמעט באופן סימטרי. למשל, הכלי שיכול לייצר את ההרס האולטימטיבי זה פצצה גרעינית. כדי לייצר פצצה גרעינית צריך כל כך הרבה משאבים ושטח ומדענים וזה, שהגוף היחיד שיכול להגיע לרמה של פצצה גרעינית זה רק מדינה.
אפרת: ומדינה גדולה,
ד"ר גודמן: נכון, נכון.
אפרת: שיש לה משאבים, ויש לה מדענים, ויש לה יכולות, ויש לה קשרים.
ד"ר גודמן: ולכן, כתוצאה, יש היום רק, נדמה לי, שמונה מדינות בעולם שמחזיקים בנשק גרעיני. שזה, שמונה זה נשמע הרבה. תכל'ס, זה לא הרבה מדינות.
אפרת: זה לא הרבה, למרות שכל אחת מהם יכולה להביא להשמדה של העולם.
ד"ר גודמן: כן. אבל כל אחת מהן הסיכוי שיעשה את זה נמוך, והסיכוי ששמונה יעשו את זה זה עדיין נמוך. תארי לך שלכל אדם בעולם היה כזה במחסן נשק גרעיני. והסיכוי שכל אחד ישתמש בהם הוא מאוד מאוד מאוד נמוך. כי יש קמפיין, נשק גרעיני זה מסוכן [צוחק]. לא להשתמש וזה והקמפיין הוא אפקטיבי.
אפרת: תסתכל על סוגיית הנשק בארצות הברית.
ד"ר גודמן: כן, נכון, זה דוגמה טובה.
אפרת: כן, במדינות שבהם יש מגבלות על נשיאת נשק, אז אתה… אתה יודע, הסכנה שמישהו יירה בך ברחוב היא לא מאוד גדולה. בארצות הברית, כיוון שאפשר להיכנס ל-drugstore, כזה, ל… לא יודעת, במדינות מסוימות לסבן אילבן או ל… לטארגט או ל… לא זוכרת איפה, וכזה לקנות נשק אוטומטי…
ד"ר גודמן: נכון.
אפרת: היא גורמת לזה שבאמת יש אירועי ירי בבתי ספר, בקניונים, בזה, בזה.
ד"ר גודמן: נכון, נכון. הטיעון ש…
אפרת: זאת סכנה אמיתית.
ד"ר גודמן: הטיעון כאן הוא סטטיסטי. כל אדם שמחזיק בנשק, הסיכוי שהוא ישתמש בו, הוא סיכוי מסוים, בדרך כלל נמוך, אבל ככל שיותר אנשים משתמשים בנשק, אז הסיכוי הזה הולך וגדל. אם לשמונה מיליארד אנשים בעולם, אם נחזור לנשק הגרעיני, היה במחסן נשק גרעיני, גם אם הסיכוי שכל אחד מהם ישתמש בו הוא מאוד מאוד נמוך, אם לשמונה מיליארד אנשים יש את זה - מה הסיכוי שהעולם הזה ישרוד את השעה הקרובה?
אפרת: מה, מה הסיכוי שאנחנו נסיים להקליט את הפרק הזה?
ד"ר גודמן: נכון. [מצחקק] אני חושב שהוא הסיכוי הוא מתמטית קרוב לאפס. שמישהו אחד יהיה לו יום לא טוב ונגמר האירוע. כן. אז במידה רבה, זה המציאות שאנחנו נוסעים אליה. כי החוק הזה שכדי שיהיה לך את היכולת הרס גדולה, יש רק לגופים גדולים, החוק הזה שיש סימטריה, החוק הזה מתרסק. יכולת להרס בסדר גודל אדיר יהיה בידי גופים מאוד מאוד קטנים עם משאבים מאוד נמוכים.
אפרת: או במילים אחרות, כל אחד מאיתנו…
ד"ר גודמן: כל אחד מאיתנו.
אפרת: בקצה האצבעות שלו.
ד"ר גודמן: פעם, למשל, כדי לעשות פיגוע ביולוגי, לפתח נגיף שיכול לעשות מגיפה שישמיד אוכלוסייה ענקית, וואלה, אתה צריך מדענים ומעבדות וכמות אדירה של משאבים בשביל לפתח נגיף שיכול להתפשט. מדברים על זה שבאמצעות AI, באמצעות כמה מניפולציות על ה-AI, היכולת לפתח נגיפים שהם גם קטלניים, גם מאוד מדבקים וגם יכולים לגבור על מנגנוני הגנה שכבר יש לנו, זה יכולת ש… שתי אנשים בחצר האחורית יוכלו לפתח… כמה זמן נוכל להחזיק מעמד, אם כל אחד יוכל לפתח… הנה דמוקרטיזציה של היכולת להרוס. אנחנו כל הזמן מדברים, דיברנו על הפתרונות, כן הטכנולוגיה כפתרון, אנחנו אומרים וואו, כל המחלות שזה ירפא! כשאנחנו מדברים על טכנולוגיה כבעיה, אנחנו שואלים, וואו, כל המחלות שזה ייצור! ואגב, אותו דבר למתקפת סייבר. מתקפות סייבר שיכולות לשבש תשתיות ושדות תעופה, או מתקפות מיסאינפורמציה מטורפות שיכולות להוביל לקריסה של הכלכלה, אובדן אמון בהכל. היום, בשביל לייצר דברים כאלה, אתה צריך כזה להיות כזה גוף כמו 8200 כזה. עם מכשירים מאוד מתקדמים, עם הרבה מאוד מוחות מאוד מפותחים, עם משאבים אדירים, אתה יכול לעשות מתקפת סייבר אפקטיבית. מתקרבים ליום שבו יכולות כאלה יהיו בידיים עם אנשים… לקבוצה של אנשים, קבוצה קטנה של אנשים, הם לא חייבים להיות מאוד מומחים ועם מעט מאוד משאבים, הם יכולים לעשות מתקפות סייבר קטלניות. זאת אומרת, מה שה-AI עושה, הוא מנמיך את מחיר הכניסה, פעם הרף הכניסה למועדון של היכולת להשמיד, היה רף מאוד גבוה.
אפרת: והמועדון היה מאוד קטן, בגלל זה.
ד"ר גודמן: והמועדון היה מאוד קטן, בדיוק. ואז הרף יורד דרמטית…
אפרת: והמועדון פתאום נהיה מאוד גדול.
ד"ר גודמן: המועדון - יש מקום לכולם. כן. [צוחקים]
אפרת: ואיך אמר גראוצ'ו מרקס? [בחיוך] "כל מועדון שמקבל אותי בתור חבר, אני לא רוצה להיות חבר בו".
ד"ר גודמן: [צוחק] בדיוק. והמועדון שהיכולת להרוס יהיה בו הרבה חברים…
אפרת: שאנחנו לא רוצים שיהיו חברים במועדון הזה.
ד"ר גודמן: אבל כולנו בפוטנציאל יכולים להיות חברים במועדון הזה. עכשיו, אלו אני חושב התרחישים המרכזיים. התרחיש ההשתלטות ותרחישי ההשמדה למיניהם. אלו תרחישי האימה המרכזיים שיש בשיח על ה-AI.
אפרת: וזה בשיח הקיים, זאת אומרת, עד עכשיו באמת לא… לא חידשנו פה הרבה, אלא רק ניסינו לעשות איזו שהיא אה…
ד"ר גודמן: כן, לארגן את זה לציבור.
אפרת: ארגון, כן, שירות לציבור.
ד"ר גודמן: כן.
אפרת: כן, איזשהו סיכום, ככה בשביל הכיף, שיהיה כיף להקשיב לתרחישי האימה האלה.
ד"ר גודמן: כן [צוחק]. תרחישי האימה האלה הם הם חלק מהרטוריקה של היזמים והמובילים של ה… תעשיית ה-AI.
אפרת: עד כדי כך שיש מונח שאמור אה לסכם את ה את הדבר הזה.
ד"ר גודמן: נכון, פּידוּם.
אפרת: פידום.
ד"ר גודמן: האות P, צמוד למילה D O O M.
P זה Probability, סבירות, ו-Doom זה…
אפרת: זה Doomsday, זה כזה חורבן העולם.
ד"ר גודמן: דומסדיי, זה כזה חורבן העולם.
אפרת: תגיד לי מה הפידום שלך?
ד"ר גודמן: יש כאלה בתעשייה שמייצרים את ה-AI שהם כזה, "הפידום שלי זה 20%, 30%, 50%".
אפרת: שמה מה ההסתברות, במילים אחרות, מה ההסתברות שאתה נותן לתרחישי האימה האלה? זה משמעות הביטוי 'פידום'.
ד"ר גודמן: נכון.
נכון, ולכל אחד מסתובב עם איזשהו תרחיש אחד… ואגב שאלתי את ג'מיניי, מה הממוצע שיזמי AI, מה הפידום הממוצע שלהם? הוא נתן לי ש-30% מהנשאלים נת… העריכו את הסיכון ביותר מ-50%. אני שואל אותך, אפרת, האם היית עולה על מטוס ש-30% מהמהנדסים חושבים שיש 50% שזה הולך לקרוס?
אפרת: להתרסק.
ד"ר גודמן: להתרסק. 30% ממפתחי ה-AI נותנים ח… הפידום שלהם זה 50%.
אפרת: כן, כשבשביל לייצר את ה… אנחנו לא מדברים על על… יש את אלה שאומרים שזה 95%.
ד"ר גודמן: נכון.
אפרת: ויש כאלה שאומרים שזה 60%, ויש כאלה שאומרים שזה אחוזים יותר קטנים.
ד"ר גודמן: נכון.
אפרת: אז תראה, אם היית אומר 50%, אז זה בדיוק כאילו… אנחנו מסתכלים על הפרק הזה, הפרק הזה הוא תרחישי אימה. אבל בוא ניזכר רגע בפרק הקודם. הפרק הקודם שדיברנו עליו היה, וואו! נפתרו כל הבעיות.
ד"ר גודמן: גאולה.
אפרת: ככה נראית גאולה.
ד"ר גודמן: אין סרטן, אין מחלות…
אפרת: ממש צדיקים, ציטטנו את חז"ל, "צדיקים יושבים ועטרותיהם בראשיהם".
ד"ר גודמן: נכון. נכון, זה ממש ימות המשיח של הרמב"ם.
אפרת: כן, כן, כן. אז מה קורה כאן? מה יקרה? הפרק הקודם או הפרק הזה?
ד"ר גודמן: נכון. כאילו ב… עולם העתיק נוצרו כל מיני אממ… מיתוסים על על איך הכל מסתיים. ויש מיתוסים של אפוקליפסה וחורבן ויש מיתוסים של גאולה ואוטופיה…
אפרת: ויש את נוסטרדמוס, נכון? במשך שנים, כזה, אמרו…
ד"ר גודמן: נכון. ואחרי נוסטרדמוס… כאילו באה תעשיית ה-AI היא מציבה לפנינו טיעון אמין לשניהם. ה-AI לוקח אותו לידי פתרון כל הבעיות, או AI יהיה אבי כל הבעיות שיביאו להשתלטות על האנושות או להשמדה שלה. אז תראי, אולי דרך לחשוב, לארגן את זה כעל מחלוקת בין פילוסופים של טכנולוגיה, תיאורטיקנים של טכנולוגיה. מצד אחד, יש את אליעזר יודקובסקי. שהוא האלרמיסט, הוא כתב על זה לא מעט, הוא מוכר מאוד בתעשייה. הוא סבור שבאופן כמעט דטרמיניסטי, באופן בלתי נמנע, אם נפתח AI חזק, AGI, זה יוביל לחורבן העולם.
אפרת: הפידום שלו הוא כזה 90 ומשהו אחוז.
ד"ר גודמן: 99 כן. כן. ויותר מזה, הוא גם דטרמיניסט. זאת אומרת, אין לו, ברגע שזה נוצר, אין לנו שליטה על זה. אנחנו מייצרים AI כדי לשלוט באמצעותו על העולם, ה-AI ישתחרר מהשליטה שלנו, ישלוט עלינו, וסביר להניח שהוא ישמיד אותנו. זה אליעזר יודקובסקי. הכתיבה שלו משפיעה מאוד על היזמים והמשקיעים והאנשים שחושבים על התחום. של יודקובסקי.
בצד השני של הספקטרום, יש את ריי קורצווייל. והוא חושב שה-AI יביא אותנו לגאולה, ואפרת, זה גאולה שהיא יותר גדולה ואוטופית מאיך שתיארנו אותה.
אפרת: ממה שישעיהו יכול לדמיין. [מצחקקת]
ד"ר גודמן: כן. כן. עד כדי כך, שהוא חושב שה-AI הולך לפתור את כל הבעיות, כולל את הבעיה ששמה מוות.
אפרת: [מגחכת] בעיית כל הבעיות. בעיית כל הבעיות.
ד"ר גודמן: עוד בעיה שה-AI הולך לפתור.
אפרת: אוי אוי אוי, אוי אוי אוי.
ד"ר גודמן: ריי קורצווייל אגב, הוא אדם די מבוגר, והוא מנסה להישאר בחיים כמה שהוא יכול, רק כדי להגיע לרגע שבו ה-AI יפתור את הבעיה של המוות.
אפרת: שהוא לא יהיה כמו אלה שמתו מדלקת בגרון בשנות ה-20 של המאה הקודמת.
ד"ר גודמן: נכון. נכון. אז בין אם זה יהיה "אם כל הבעיות", או "יפתור את כל הבעיות", בין יודקובסקי, כן, לבין ריי קורצווייל - בהם… המאפיין של שניהם, ככל שאני מנסה להבין אותם יותר, אני מבין שהם דטרמיניסטים. זאת אומרת, הם חושבים "הטכנולוגיה תיקח אותנו לשם ברגע שנפתח אותה, אם נרצה או לא נרצה". רק יודקובסקי אומר - לאסון, וריי קורצווייל אומר - לגאולה. שניהם דטרמיניסטים. אבל אולי הפילוסוף היותר חשוב כאן הוא דרך האמצע של פילוסוף שוודי בשם ניק בוסטרום. שנראה לי שכבר הזכרנו אותו קצת.
אפרת: כבר הזכרנו אותו.
ד"ר גודמן: כן. והוא זה שאומר ממש כמו עמדה יהודית כזאת, הוא אומר "זה יכול להוביל לגן עדן וזה יכול להוביל לגיהנום. במי זה תלוי? במפ… בנו. ומי זה אנחנו? לא הצרכנים, לא המשתמשים. המפתחים".
אפרת: אגב, אנחנו חסרי משמעות.
ד"ר גודמן: נכון.
אפרת: אנחנו, אנחנו חסרי משמעות. המשתמשים והצרכנים, אין לנו שום דרך להשפיע על זה ואנחנו עוד נדבר על זה בהמשך.
ד"ר גודמן: כן. אבל אנחנו וזה זה משהו… והוא, ואז הוא אומר, "צריך לפתח Safety AI", זאת אומרת AI בטוח, שהוא ישאר תחת השליטה של האנשים. שהוא לא יברח לנו, שהוא לא ישתלט עלינו והוא גם… שהוא יבין את כל ההנחות המובלעות בהנחיות שלנו ואפשר לייצר את זה, אבל מה שזה אומר צריך לעשות את זה איטי ובטוח. זה ניק בוסטרום. הכתיבה של ניק בוסטרום השפיעה מאוד על האדם שנתן את… שם את ההשקעות הראשונות בכל הסטארטאפים הראשונים של AI שרוצים להגיע ל-AGI. לבן אדם הזה קוראים אילון מאסק.
אפרת: אממ…
ד"ר גודמן: הכסף הראשון שאילון מאסק שם בחברות שונות, Deep Mind, שבעתיד תהיה של גוגל ו-Open AI, הוא השקיע בשתיהם בהתחלה, כדי לתמרץ אותם לייצר סופר אינטליג'נס, כאילו סופר AI בטוח, שלא יהיו את הבעיות של ה-AI ויהיה לנו את כל הפירות של ה-AI. ואכן, זה אכן הייתה המטרה של DeepMind בהתחלה ושל המייסד שלה, דמיס הסביס, וזה גם הייתה המטרה של סם אלטמן. סם אלטמן, מה המוטיבציה שלו בלהקים את Open AI? ויש לנו, יש לנו את המייל שהוא שלח לאילון מאסק.
אפרת: לאילון מאסק, כן, לממן שלו, לתורם שלו.
ד"ר גודמן: לתורם שלו, ל… הכסף. הוא אמר, "סופר אינטליגנציה יכול להשמיד את העולם", אז הוא שאל, "האם אפשר לעצור את זה?" התשובה היא, שלא. אז The second best, בוא אנחנו נייצר AI ונדאג שהוא יהיה בטוח ונהיה הראשונים כדי שלא ישמיד את העולם. זאת אומרת, דרך האמצע של ניק בוסטרום זה המוטיבציה של היזמים. לייצר AI שלא יביא אותנו לאסון שדיברנו עליו היום ויביא אותנו לגן עדן של הפרק הקודם.
אפרת: אז נשמע שהדילמה נפתרה, נכון?
ד"ר גודמן: אז הדילמה נפתרה.
אפרת: אין בעיה.
ד"ר גודמן: זה המוטיבציה הראשונית של כל היזמים. ולכן אנחנו יכולים לבטוח בזה שאנחנו בדרך לגאולה.
אפרת: אז אם מישהו, ממש המאזינים חדי האוזן שלנו, זיהו איזושהי נימה של ציניות…
ד"ר גודמן: וספקנות.
אפרת: וספקנות בטונים שלנו, זה לא בכדי.
ד"ר גודמן: ועל זה נדבר…
ביחד: בפרק הבא.
[מתנגן השיר "It’s the End of the World as We Know It" בביצוע REM]
“It's the end of the world as we know it
It's the end of the world as we know it
It's the end of the world as we know it and I feel fine…”
[השיר ממשיך ברקע]
אפרת: האם באמת אפשר למנוע את תרחישי האימה והקטסטרופות האלה? האם אפשר לנוח על זרי הדפנה או שאנחנו צועדים לעבר סוף העולם ואפילו לא מודעים לזה? על כל זה נדבר בפרק הבא.
תודה לניר לייסט ולאור שמיר העורכים, למיכל אטיאס ולאייל לויט על ההפקה ולניבה גולדברג ולמתן חיים מצוות הדיגיטל.
כל העונות הקודמות של "מפלגת המחשבות" זמינות ביישומוני ההסכתים וגם באתר "בית אבי חי", שם תוכלו למצוא תכנים מעולים נוספים.
[המשך השיר "It’s the End of the World as We Know It"]
“It's the end of the world as we know it
It's the end of the world as we know it
It's the end of the world as we know it and I feel fine
I feel fine…”
[מוזיקת סיום]
לעוד פרקים של הפודקאסט לחצו על שם הפודקאסט למטה
Comments