מפלגת המחשבות - פרק 148 – מהפכת הבינה: האוליגרכיה החדשה

כבודם של ממשלת ישראל ושל בג״ץ במקומם מונח, אך ייתכן שההחלטות החשובות ביותר בנוגע לחיינו מתקבלות בכלל בעמק הסיליקון. בפרק הקרוב נשאל האם הריבונות שלנו נלקחה מאיתנו מבלי ששמנו לב לכך, ונחזור למהלך משחק מפתיע אחד של AI שמבשר את גודל המהפכה שאנחנו ניצבים בפניה.

---

‏תאריך עליית הפרק לאוויר: 13/01/2026.

‏[מוזיקת פתיחה]

‏קריין: אתם מאזינים להסכת של "בית אבי חי".

‏[רצף הקלטות]

‏חיים יבין: "אם כן, כנראה מהפך…"

Donald Trump: “Everyone is talking about artificial intelligence. Not artificial, it’s genius.”

Sundar Pichai: “It’s more profound than fire or electricity or…”

Sam Altman: “AI will be the most powerful technology humanity has yet invented.”

Naftali Bennett: “New dimensions will emerge.”

Jensen Huang: “The greatest technology equalizer of all time.”

Yuval Noah Harari: “It is not a tool, it is an agent.”

Elon Musk: “Mark my words, AI is far more dangerous than nukes.”

‏[מוזיקת רקע]

‏אפרת: שלום, אני אפרת שפירא רוזנברג, ואתן מאזינות ומאזינים ל"מפלגת המחשבות". ההסכת שבו מיכה גודמן ואני מדברים על הרעיונות שמאחורי הפוליטיקה. ובעונה הזאת על הרעיונות שמאחורי המהפכה הגדולה שבדרך, מהפכת הבינה.

‏דיברנו לא מעט במהלך הפרקים האחרונים על ההשלכות האפשריות של המהפכה הזאת, על כל מי ועל כל מה שאנחנו; על ההגדרה הבסיסית ביותר של מה זה להיות בן אדם. אבל רגע, הרגע אמרתי שאנחנו פה כדי לדבר על הרעיונות שמאחורי הפוליטיקה, אז כן, מתברר שמהפכת הבינה עומדת לשנות, ואולי כבר משנה, את הפוליטיקה ואת מבנה הכוח בחברה - הממשלה, בית המשפט העליון? הצחקתם אותנו. תכירו את בעלי הכוח האמיתיים ששולטים בנו.

‏שלום, מיכה.

‏[מוזיקה מסתיימת]

‏ד"ר גודמן: שלום, אפרת.

‏אפרת: אפשר לספר את תולדות המודרנה, או התפתחות הרעיון הדמוקרטי בכל מיני, בכל מיני דרכים, אבל דרך אחת לדבר על זה, זה באמצעות ההתבוננות על מקורות כוח,

‏ד"ר גודמן: נכון.

‏אפרת: ושאולי המעבר הזה, מהעת העתיקה או מימי הביניים לתקופה המודרנית, היא דרך הפריזמה של אה… מה היחס שלנו לבעלי כוח.

‏ד"ר גודמן: תראי, אם נסתכל על זה בעת העתיקה, במצרים טיפחו הערצה לכוח. פרעה הוא חלק מהפנתאון, הוא אלוהי. הכוח הוא אלו… בימי הביניים גם כן, אם אתה מולך עליי, אם אתה החזק, כנראה שאלוהים מינה אותך. אתה מושל בחסד האל. בתנ"ך יש מהפכה. בתנ"ך מטפחים סנטימנט חלופי - לא הערצה לכוח, אלא חשדנות כלפי כוח. זה כל המסורת הנבואית. אבל לקח הרבה זמן עד שהאינסטינקט המקראי הזה יופיע בזירה הציבורית ויארגן פוליטיקה חדשה, ובמידה רבה העת החדשה רוממה את האינסטינקט המקראי ההוא, שאנשים בריאים בחברה דמוקרטית, בני חורין, מתמרצים אותם ומעודדים אותם לא להעריץ בעלי כוח, אלא לחשוד בהם, ויש סיבה לטיפוח חשדנות. אז בתנ"ך זה בגלל ש… אה… רק אלוהים הוא המלך, ובני אדם בצלם אלוהים. יש כאילו הסברים תיאולוגיים למה אנחנו חושדים מכוח בשר ודם. אבל יש סיבות אחרות שקשורות לחירות שלנו, שאנשים… אגב גם ברומא העתיקה, אבל שאנשים מודרנים, למה הם מטפחים חשדנות כלפי כוח? וזה מטעם ההבנה. הבנה עמוקה שכל אדם או גוף שמצליחים לאסוף יותר מדי כוח, ולרכז יותר מדי כוח, מכל סיבה שהיא…

‏אפרת: מאיים על החירות שלנו.

‏ד"ר גודמן: מאיים על החירות שלנו. האיום על החירות שלנו מגיע מריכוז גבוה מדי של כוח. ו… אלו הרדארים שבהם אנשים בדמוקרטיה מסתובבות. איפה יש יותר מדי כוח ושמה, לשם אנחנו צריכים להפנות את החשדנות שלנו.

‏אפרת: כן. את מוקד הכוח הזה צריך, אולי, אני לא אגיד לפרק, אבל אולי אממ… לדלל.

‏ד"ר גודמן: ומה שמוזר שבתקופה האחרו… יש כמה אנשים, כמה אינטלקטואלים בעמק הסיליקון שאומרים: "חברים, את החשדנות הפוליטית שלכם כלפי כוח צריך להתחיל להפנות אל עבר בינה מלאכותית". [מחייך]

‏אפרת: כן. איכשהו הרדארים, תראה, הרדארים היום, הרדארים האלה שדיברת עליהם, הם מהבהבים מאוד מאוד ב… ב… באדום בוהק ומהבהב, כלפי מוסדות כאלה ואחרים בחברה ובפוליטיקה, ולאלה יש יותר מדי כוח, ואלה אומרים שלמוסד הזה יש יותר מדי כוח…

‏ד"ר גודמן: כולם הם בדיוק. כולם נאבקים את המאבק הזה…

‏אפרת: כן. ומתחת לאף שלנו, יש פה משהו שאולי הולך וצובר הרבה מאוד כוח, והאינטואיציות הדמוקרטיות שלנו לא מופנות לשם.

‏ד"ר גודמן: כן. אנחנו לא שואלים… רגע, כי זה נשמע לנו מאוד מאוד מוזר, ומאוד לא אינטואיטיבי לחשוב שיש כאן מה שמכנים טכנולוגיה. אתם יודעים שאנחנו לא מאמינים שזה טכנולוגיה, AI, והוא יהפוך ל-AGI והוא יהיה super intelligent, ואנחנו נאבד שליטה עליו, והדבר הזה בסוף ישלוט עלינו.

‏אפרת: יצבור יותר מדי כוח וישלוט עלינו.

‏ד"ר גודמן: כן. אז אי אפשר לדמות את זה לעלייה של אף דיקטטור בעבר, זה כל כך חריג, זה כל כך שונה, שום היסטוריה לא יכולה להדריך אותנו כאן, ובעיקר הבעיה היא שכשאנחנו מדברים על זה אנשים: "טוב, בסדר, זה לא נשמע אמין, זה לא נשמע סביר אפילו, זה לא נשמע אינטואיטיבי בשום מובן", ובכלל מי שמדבר על זה בדרך כלל נשמע מוזר.

‏אפרת: בוא ננסה ככה לתמצת בקצרה מה ה… מה הסנריו האפשרי לאיך זה יוצא משליטה.

‏ד"ר גודמן: כדי לתמצת צריך להבין שתי מאפיינים של הטכנולוגיה הזאת. אחד עד כמה זה זר, והשני עד כמה זה אוטונומי. בוא נתחיל בזרות של זה. אחד המשחקי שח המפורסמים בעולם התרחש ב-1997 בין גארי קספרוב לבין Deep Blue - אדם מול ה-AI. וה-AI ניצח את גארי קספרוב, את האדם.

‏אפרת: על זה דיברנו כבר ב… באחד הפרקים.

‏ד"ר גודמן: זה לא מאוד מפתיע ש-AI מנצח את האדם בשח, כי כל מי שמשחק שח יודע שיש יתרון למי שיכול לחשב הרבה מהלכים קדימה, להחזיק בראש המון אופציות, ולתמרן ביניהם. זה לא מפתיע ש-AI יותר טוב בזה מבני אדם. נכון? זה…

‏אפרת: לגמרי.

‏ד"ר גודמן: נשמע סביר. אבל יש משחק אחר שישראלים לא מכירים, אבל זה משחק מאוד פופולרי במזרח, שקוראים לו Go, ולא ששיחקתי פעם Go אבל ממה שאני מבין זה משחק שכל פעם שאתה מזיז את האבנים שעל המגרש נפתחות המון אופציות, יש המון מהלכים אפשריים שונים. אז אתה אומר: רגע, אז מי שיכול להחזיק הרבה מהלכים בראש שלו ינצח? יש רק בעיה אחת. כמות המהלכים האפשריים במשחק ה-Go, כשקראתי את זה זה נשמע אני לא אמין, זה כמספר האטומים שביקום.

‏אפרת: שזה בעצם כמו להגיד אינסוף.

‏ד"ר גודמן: אינס… נכון.

‏אפרת: זה כמו להגיד אינסוף.

‏ד"ר גודמן: כן. אגב, בהתחלה אני חשבתי שהכוונה היא כמספר האטומים על כדור הארץ, וזה גם היה נשמע לי הגזמה. לא! כמספר האטומים ביקום.

‏אפרת: ביקום.

‏ד"ר גודמן: אוקיי.

‏אפרת: זאת אומרת, באמת לצורך העניין, יש אינסוף, ליטרלי, אינסוף מהלכים שאפשר לעשות, זאת אומרת ש… מי שיש לו יתרון בלהחזיק הרבה מהלכים בראש, זה… זה לא הסיפור, אלא מה כן?

‏ד"ר גודמן: מנצח מי שמצליח לגבש איזשהי… לא מכוח חישוב יוצא דופן, אלא אינטואיציה יוצאת דופן. מי ששיחק הרבה פעמים רוכש אינטואיציה לז… לכיוון זרימה של המשחק, הוא ינצח.

‏אפרת: ולכן, ההימור על האם AI יצליח לשחק ולנצח בן אדם היה כל כך אה… גדול, בגלל ש… אינטואיציה זה לא משהו ש… חשבו שיש אותה לבינה מלאכותית. זה, אינטואיציה זה דבר בהגדרה מאוד מאוד אנושי.

‏ד"ר גודמן: ולכן בני אדם תמיד ינצחו AI ב-Go.

‏Go הנחשב המבצר האחרון של האינטואיציה האנושית. אותה איכות שיש לנו ואין לסיליקון הזה. ואז… טוב אתם יודעים איך זה נגמר בסוף ב-2016, אלוף דרום קוריאה ב-Go משחק מול AlphaGo, שזה AI צר שנוצר על ידי גוגל [כך במקור], בדיוק בשביל המשחק הזה… ו-AI ניצח את הבן אדם, והסיבה…

‏אפרת: ואז הייתה סנסציה מטורפת.

‏ד"ר גודמן: אבל מה שחשוב בכל המשחק הזה, במיתולוגיה של העמק הסיליקון, על המשחק הזה מ-2016, זה מהלך 37. מה זה מהלך 37? ה-AI מזיז את אחד מהאבנים ואז האדם מזיז אחד מה… זה מהלך מספר אחד; מהלך מספר שתיים עוד פעם כל אחד מזיז את האבנים שלו; מגיעים למהלך 37 ו-AI ממקם אבן במקום על המגרש שבן אדם אף פעם לא עשה מהלך כזה. למה? כי זה מהלך שמי שעושה מהלכים מהסוג הזה תמיד מובס. זה טעות של אנשים בלי האינטואיציה של המשחק.

‏אפרת: טעות של מתחילים, ללא ניסיון.

‏ד"ר גודמן: טעות של אנשים שאין להם ניסיון. וכשהוא עשה את מהלך 37 אז זה אירוע שהוא משודר, אנחנו ראינו את זה…

‏אפרת: כן, כן.

‏ד"ר גודמן: זה משודר ו…

‏אפרת: סנסציה באולפן.

‏ד"ר גודמן: סנסציה באולפן. הפרשנים אומרים: "יש אולי טעות בתוכנה, יש באג במערכת" [צוחק]. לי סידול עצמו אומר, מממ… השחקן האנושי, קם כזה ו…

‏אפרת: יצא מהחדר.

‏ד"ר גודמן: יצא מהחדר.

‏אפרת: היה צריך לחשוב רגע מה קורה פה.

‏ד"ר גודמן: וההנחה היא, אוקיי, האדם עדיין שולט. ה-AI יובס על ידי… אדם לא עושה טעויות כאלה כמו מהלך 37. ואז…

‏אפרת: פאסט פורוורד לסוף ה…

‏ד"ר גודמן: המשחק מתגלגל, ה-AI ניצח את הבן אדם, והמהלך שגרם לו לנצח, בסוף התגלה בהפוך על הפוך, היה המהלך שכולם חשבו שבגללו הוא ייפול. מהלך 37. מהלך 37 נתפס במיתולוגיה של עמק הסיליקון, של תעשיית ה-AI, כרגע מכונן, כרגע שבו אנשים התחילו להבין משהו על ה-AI. הם התחילו להבין שאנחנו לא מבינים את הדבר הזה.

‏אפרת: שהוא לא פועל כמונו. הוא לא למד מאיתנו ופשוט עושה את זה יותר טוב.

‏ד"ר גודמן: נכון. הוא חושב אחרת מאיתנו. זה… הוא עושה כאן מה… יש לו ידע, יש לו… הוא רואה דברים שבני אדם אף פעם לא ראו, בין השאר בגלל שהוא אין לו קיבעונות מחשבתיים. הוא לא… הוא לא חושב כמו בני אדם רק יותר טוב; הוא פשוט לא חושב כמו בני אדם. זה לא שהוא חושב מחוץ לקופסה, אין לו קופסה. הוא לא גדל במסורת, בתרבות, עם קיבעונות, עם זה…

‏אפרת: ואגב, כנראה שיש לו איזה אינטואיציה.

‏ד"ר גודמן: אינטואיציה שאנחנו לא יכולים להבין אותה.

‏אפרת: באינטואיציה שלו הוא הבין משהו שאנחנו לא הבנו, שבני אדם לא הבינו. כל מי שישב בחדר לא הבין את זה.

‏ד"ר גודמן: יובל נח הררי מציע לקרוא לזה לא AI - Artificial Intelligence, אלא AI - Alien Intelligence. בינה זרה. זה חושב אחרת מאיתנו.

‏אפרת: אתה יודע זה, זה חידוד חשוב בגלל שאני חושבת שהיום מדברים הרבה על איברים מלאכותיים.

‏ד"ר גודמן: כן.

‏אפרת: כאילו על לב מלאכותי, על אממ… כל התעשייה הזאת של המדפסות שמדפיסות איברים שיפתרו את בעיית ה… השתלת איברים מן החי. זה פריצת דרך מטורפת.

‏ד"ר גודמן: הלוואי. כן.

‏אפרת: אבל, הרעיון הוא שזה כמו איבר שיש לנו באופן טבעי, פשוט מדפיסים איבר…

‏ד"ר גודמן: מלאכותי.

‏אפרת: מלאכותי. הוא מתנהג… זה לא כמו סטיב אוסטין, האיש ששווה מיליונים, שכאילו יש לו יכולות על אנושיות, לא, לא, לא, לא, האיבר מתנהג כמו שמתנהג האיבר הטבעי, פשוט יצרנו אותו אנחנו.

‏ד"ר גודמן: יפה.

‏אפרת: לא זאת הכוונה.

‏ד"ר גודמן: זה לא בינה כמו שלנו.

‏אפרת: כמו שלנו, פשוט הדפסנו אותה במחשב. אגב, אולי אפשר יהיה להדפיס מוח במחשב. זה יהיה מוח מלאכותי…

‏ד"ר גודמן: נכון.

‏אפרת: שפשוט אדם שהוא אולי, שלא נדע, פגוע ראש או משהו כזה, אפשר להשתיל אולי… לא יודעת. אבל לא זאת הכוונה. פה יש בינה, שהיא לא כמו שלנו, רק מלאכותית, היא…

‏ד"ר גודמן: זרה. זרה.

‏אפרת: זרה. זה משהו מתנהג אחרת. זאת חיה אחרת.

‏ד"ר גודמן: מהלך 37 זה אומר ש… נניח מו… בתולדות המוזיקה מייצרים מוזיקה בכל מיני קטגוריות. יש מוזיקת רוק ומוזיקת פופ ומוזיקת…

‏אפרת: ג'אז.

‏ד"ר גודמן: ג'אז ומוזיקה קלאסית ומו… כל מי ש… ומוזיקה ים תיכונית. כל מי שמייצר מוזיקה מתכתב עם אחת הקטגוריות האלה, והוא יוצר את זה מתוך המסורות האלה.

‏אפרת: או פורץ אותם מתוך המסורות האלה.

‏ד"ר גודמן: מתוך המסורות האלה הוא מתעלה עליהם. מה יקרה אם AI ייצר מוזיקה שהיא לא מתוך שום מסורת. תייצר קטגוריה חדשה?

‏אפרת: אתה יודע, הרבה דיברו על אומנות. שכאילו הוא יכול לצייר מאוד טוב כמו זה וכמו זה, אבל הוא אף פעם לא יוכל להמציא, אני יודעת, איזה ז'אנר כמו שפיקאסו המציא את הקוביזם ו…

‏ד"ר גודמן: מהלך 37 אומר…

‏אפרת: מי אמר שלא. כן…

‏ד"ר גודמן: להפך, הוא לא גדל במסורות שלנו.

‏אפרת: כן. אז הוא יכול לפרוץ אותן.

‏ד"ר גודמן: מהלכ… בהיסטוריה של מהלכים צבאיים, חשיבה צבאית, גם הכי יצירתית, היא מוגבלת לקטגוריות של הגנה, התקפה, פשיטה, מארב, איגופים. אה… יש איזשהו… כל מהלך צבאי, גם של אנשים הכי גאונים, הם מוגבלים לאיזשהו ז'אנר צבאי. אולי הדבר הזה לא רק ייצר מוזיקות חדשות, יחשוב על מהלכים צבאיים חדשים, מהלך 37 זה רגע שבו אתה מבין, אנחנו מפתחים כאן בינה זרה. זה אחר זה שונה, וכאן צריך לעצור ורק להזכיר לנו משהו: בני אדם לא יודעים איך לשלוט על דברים שהם לא מבינים. מהלך 37 זה התזכורת, אנחנו אולי מייצרים את זה, אבל זה לא אומר שאנחנו מבינים את זה.

‏אפרת: אגב, זה אולי הרגע שבו נולדה ההבנה שזאת לא טכנולוגיה.

‏ד"ר גודמן: בדיוק. [מצחקק]

‏אפרת: מה שדיברנו בפרק הקודם, כי טכנולוגיה מתאפיינת במה ש… בזה שאנחנו…

‏ד"ר גודמן: לוגוס. הלוגוס שלנו…

‏אפרת: לא, לא רק שאנחנו עם הלוגוס שלנו יצרנו את זה, אנחנו גם מבינים איך זה עובד.

‏ד"ר גודמן: כן.

‏אפרת: אנחנו מבינים איך זה עובד. כשאתה נ… נכנס לרכב, אז אתה מבין איך הרכב עובד, ואתה שולט בו. עכשיו, אם הרכב, מה שמכונה בשפה שלנו, יוצא משליטה…

‏ד"ר גודמן: זה באג.

‏אפרת: זה באג. אז צריך ללמוד מה קרה. אם מטוס מתרסק בגלל שהיה איזה באג במערכת, אז יש תחקירים ולומדים, והיצרן משפר את המודל, כי זה באג. פה זה לא באג, כמו שמקובל לומר, סליחה על הקלישאה, זה פיצ'ר.

‏ד"ר גודמן: זה שאתה לא מבין אותו, זה בגלל שהוא בינה שהיא זרה לך. אתה לא יכול להבין אותו, וזה המאפיין הראשון שאנחנו צריכים להבין, אבל הוא מצטרף לעוד מאפיין; המאפיין השני זה שהמאמץ של תעשיות ה-AI זה להפוך את הדבר הזה ליותר ויותר agentic. אגב, רבים חושבים שזה הולך להיות הפריצה של 2026, לא פחות מזה, שזה יהיה agentic.

‏אפרת: כן, זאת אומרת, עובד כסוכן…

‏ד"ר גודמן: כן.

‏אפרת: עצמאי.

‏ד"ר גודמן: אתה תיתן לו משימה, והוא באופן אוטונומי יקבל סדרה של החלטות, ויבצע את ההחלטות האלה עבורך, עבור המשימה. זאת אומרת, המעבר שהוא יהיה agentic, אם עד עכשיו זה גורו, אתה ניגש, אתה שואל אותו שאלה, הוא נותן לך תשובה. הוא אורקל, הוא יודע הכול.

‏אפרת: וככל שהוא השתפר פשוט התשובות שלו נהיו יותר טובות.

‏ד"ר גודמן: יותר טובות, אז הוא נהיה יותר ויותר גורו. יודע כול. נותן לך כל שאלה יש לו תשובה נגיד, כן. היכולות האייג'נטיות זה שהוא הופך מגורו לג'יני.

‏אפרת: מהממ.

‏ד"ר גודמן: ג'יני זה כזה, זה לא…

‏אפרת: your wish is my command.

‏ד"ר גודמן: בדיוק [צוחק]. מה אתה רוצה? אני אגשים לך את זה. וכאן, בהפיכה שלו לאייג'נטי, כאן נמצא הכסף, כי היכולת שלהם, שזה יחליף את העורך דין שלך, זה שהוא יוכל לפעול באופן אוטונומי לקבל החלטות.

‏אפרת: או את הרואה חשבון שלך.

‏ד"ר גודמן: את הרואה חשבון שלך. או את המורה של הילד שלך. אתה רוצה שהוא ל… תוך כדי יבין מה הכיוון הנכון ויקבל החלטות באופן עצמאי, באופן אוטונומי.

‏אפרת: או את המנהל של החברה שלך.

‏ד"ר גודמן: ואת המנה… אגב, צריך להבין גם את המנהל של החברה שלך, גם על הדברים האלה הוא הולך להחליט.

‏אפרת: זאת אומרת, אנחנו אולי, הרבה מאיתנו חולמים על זה שהוא יהיה כאילו הסוכן נסיעות שלנו, כן? של כזה - "תזמין לי אני רוצה לנסוע למקום הזה והזה, תזמין לי טיסות, מקומות".

‏ד"ר גודמן: אז זה יהיה קל.

‏אפרת: לא, זה כאילו פנט… אה! איזה יופי. אבל, בוא נחשוב שלושה מהלכים קדימה.

‏ד"ר גודמן: נכון.

‏אפרת: כן.

‏ד"ר גודמן: אז עכשיו, אם אנחנו חושבים על רק שני הדברים האלה שאמרנו - שזה בינה שהיא זרה לנו, ושהיא תהיה יותר ויותר אוטונומית, ומקבלת החלטות באופן עצמאי מאיתנו, בשירות שלנו בשלב ראשון - אז כל מה שאנחנו צריכים עכשיו לעשות זה לעצום עיניים…

‏אפרת: ולחבר ביניהם.

‏ד"ר גודמן: ולחבר בין הדברים האלה, שבינה שהיא זרה לנו היא גם אוטונומית. היא מקבלת החלטות באופן שהוא אוטונומי מאיתנו. ועכשיו, תוסיפו לשתי המרכיבים האלה עוד מרכיב אחד. תוסיפו לזה עכשיו עוד הרבה עוצמה, עוד הרבה יכולות, עוד הרבה IQ, עוד הרב… נוסיף לזה עוצמה, ומה אנחנו מקבלים? התשובה היא שאנחנו לא יודעים מה אנחנו מקבלים. אנחנו לא יודעים אם הדבר שיצא מהדבר הזה זה זר וזה אוטונומי, האם בקצה זה עדיין יהיה בשליטה שלי? יאן לקון מ"מטא" אומר: "כן, זה יישאר בשליטה שלנו!" [בקול רציני]. אליעזר יודקובסקי אומר: "אין סיכוי שזה יישאר בשליטה שלנו. אנחנו מייצרים את זה ואנחנו נאבד שליטה על זה, כי זה לא טכנולוגיה. זה לא כלי שמגביר את השליטה שלנו על העולם, זה כלי שישתלט עלינו ונאבד את השליטה". אוקיי. ו… כל השאר, דיברנו על זה, הם איפשהו באמצע. אילון מאסק אומר "מעל 50% שאנחנו נאבד שליטה" דריו אמודיי, מנכ"ל "אנטרופיק" - "20 או 25% שאנחנו נאבד שליטה". התשובה היא שאנחנו לא יודעים אם אנחנו נוכל לשלוט על הכלי הזה או לא נשלוט על הכלי הזה. מי שאומרים שהם לא יודעים זה אלו שמייצרים את הכלי הזה, ואף על פי כן…

‏אפרת: הם שועטים קדימה.

‏ד"ר גודמן: שועטים קדימה ומייצרים את הכלי הזה.

‏אפרת: אוקיי, אז זאת הייתה שאלה אחת. לגבי השאלה על ההשלכות הפוליטיות של הסיפור הזה של של AI ושל ה… דהירה קדימה אל עבר AGI, אז זאת שאלה עתידית: האם הכלי הזה ייצא משליטה? אבל יש פה עוד שאלה, והשאלה היא לא עתידית, על האם, מתי שהוא בעתיד, אנחנו נאבד שליטה על הכלי, ומתוקף כך על החיים שלנו, אלא, האם במידה רבה אנחנו כבר עכשיו איבדנו שליטה על החיים שלנו?

‏ד"ר גודמן: והתפנית בשאלה הזאת היא פשוט שאלה אחרת: ממה אנחנו מפחדים יותר - משְהַ-AI יהיה יותר מידי חזק, או שתאגידי ה-AI יהיה להם יותר מידי כוח? ואולי אנחנו בכלל צריכים לשאול שאלה, לא את השאלה ששאלנו עד עכשיו [צוחק] על AI שיגרום לנו בעתיד לאבד שליטה, אלא אולי תאגידי ה-AI הם כל כך חזקים כבר היום, שאנחנו כבר עכשיו, כבר אין לנו שליטה על החיים שלנו ולא סיפרו לנו על זה? ואנחנו בקושי מודעים לזה.

‏אפרת: זאת אומרת, אין לנו שליטה על החיים שלנו, לא במובן של, אתה יודע, אני עכשיו יוצאת מפה ואני, אני הולכת להחליט לאן אני נוסעת וכולי, לא במובן הזה, אלא במובן הזה, הדמוקרטי העמוק.

‏ד"ר גודמן: כן.

‏אפרת: של אנחנו לא שותפים בהחלטות הגדולות שמתקבלות, ושיש להן השלכות הרות גורל על החיים שלנו היום, כבר היום.

‏ד"ר גודמן: בדיוק. נכון. זה כל ההבטחה של דמוקרטיה. לא בטוח שהמדינה תעשה את מה שאתה חושב שהיא צריכה לעשות, אבל אתה שותף לתהליך קבלת ההחלטה.

‏בשנים האחרונות יש קבוצה די קטנה של אנשים, אצולת ה-AI, שקיבלה את ההחלטה הכי דרמטית, אולי בהיסטוריה האנושית, לפתח AGI, לפתח סופר אינטליג'נס. עכשיו מה שחשוב כאן, שעל פי החישובים שלהם, 25% [צוחק] שזה מוביל, אם אתה דריו אמודיי, לאובדן שליטה והשמדת האנושות. זאת אומרת, התוצאות של ההחלטה שלהם משפיעות על כולנו, אבל אנחנו לא היינו בחדר שההחלטה הזו התקבלה. משל למה הדבר דומה? אם יש 25%, אם אתה דריו אמודיי, ויש 20% שהאינטליגנציה הזו תביא לחורבן העולם, האם את הייתְ עולה על מטוס כשיש 20% שהוא יתרסק? אני מניח שלא, והיו אומרים לך, אבל אפרת, המטוס הזה לוקח אותך לגן עדן, לעולם בלי סרטן, בלי מחלות, בלי עוני, זה סופר אינטליג'נס, זה לוקח אותך לגן עדן, אבל יש 20% שהוא יתרסק. האם תעלי על זה? אני לא הייתי עולה, אולי את כן היית עולה.

‏אפרת: כן, זה תלוי באיך אנשים מתמחרים סיכונים, ואנחנו יודעים שאנשים שונים יש להם…

‏ד"ר גודמן: נכון.

‏אפרת: אישיות של לקיחת סיכונים שונה.

‏ד"ר גודמן: מה שחשוב זה…

‏אפרת: שצריך לשאול אותך.

‏ד"ר גודמן: שצריך לשאול אותך. דריו אמודיי, סם אלטמן, דמיס הסביס, אילון מאסק - שמו את כולנו על המטוס הזה בלי לשאול אותנו, שיש על פי החישובים שלהם 20, 30, 50% שהוא יתרסק, יש סיכוי שהוא גם יפתור את בעיות העולם. יש סיכוי שהמטוס הזה יגיע ליעד שלו. כולנו על המטוס הזה, אבל רק מעטים מאיתנו בחרו לעלות על המטוס הזה. זה הסיבה שאנחנו במידה רבה, כבר עכשיו, מבלי שסיפרו לנו, איבדנו נתח משמעותי מהריבונות שלנו, מהשליטה שלנו על החיים שלנו.

‏אפרת: אוקיי. ניקח רגע נשימה [ד"ר גודמן צוחק]. כל תרחישי הפידומים האלה, ה-25% שהמטוס יתרסק, או ה-99% שהמטוס יתרסק, או ה-50% שהוא יתרסק…

‏ד"ר גודמן: או יאן לקון - אחוז בודד.

‏אפרת: כן. או יאן לקון שכאילו…

‏ד"ר גודמן: יכול להיות, על יאן לקון, אני עולה על המטוס. [צוחק]

‏אפרת: אתה פשוט טס ישירות לגן עדן. כל התרחישים האלה הם רק בהנחה שמגיעים לסופר אינטליג'נס.

‏ד"ר גודמן: כן.

‏אפרת: יש הרבה אנשים סקפטים לגבי עצם היכולת להגיע לסופר אינטליג'נס.

‏ד"ר גודמן: יש אסכולה סקפטית שאומרת כל הדבר הזה, מי שחושב שהמכונות האלה יהיו באופן אקספוננציאלי כל הזמן יותר אינטליגנטיות ויותר אינטליגנטיות, הם לא רואים את התקרה שזה הולך להתנגש בה בקרוב.

‏אפרת: בוא נבדוק מה קורה אם התרחיש הזה לא מתממש. אם הקפיצה אל עבר סופר אינטליג'נס לא מצליחה.

‏ד"ר גודמן: אוקיי. אז אם אנחנו הולכים בנתיב הזה, שבסוף כל המאמצים האלה לא יבקיעו בסוף לעבר סופר אינטליג'נס, מה קורה אז? אז אני רוצה להציג כאן איזשהי תזה שהיא מבוססת על עבודה של מארק טילברי. הסטרוקטורה של הכלכלה, אולי העולמית היום, זה כזה. יש שבע חברות, שבע חברות שהן יוצרות את כל ה-AI ואת האקוסיסטם של ה-AI והתשתית של ה-AI. מכנים אותם: "The Magnificent 7" שזה "אנבידיה" שעושה את השבבים, וזה "אמזון" שיש לה חברות שרתים, וזה "מיקרוסופט" שיש להם את היחסים החזקים עם OpenAI שמייצר את ה… גם חוות שרתים וגם אלגוריתמים, ו"אפל"…

‏אפרת: זה ארבע.

‏ד"ר גודמן: ו"מטא" פייסבוק, ו"גוגל" כן? DeepMind, וזה גוגל…

‏אפרת: "טסלה".

‏ד"ר גודמן: וטסלה שמייצר אגב, לא רק הרכב, הם מייצרים AI, הם מייצרים את הרובוטים העתידיים. שבע חברות האלה, The Magnificent 7, הן נסחרות בנאסד"ק. הם עוד שבע חברות בנאסד"ק.

‏אפרת: לכאורה.

‏ד"ר גודמן: רק שהערך שלהם הוא כמעט 40% מנאסד"ק.

‏אפרת: ראיתי איפשהו שהם 75% מה-SNP.

‏ד"ר גודמן: וואו! ואני ראיתי איפשהו ש-50% מהצמיחה של ארצות הברית בשנה האחרונה, 50% מהצמיחה זה מההשקעות ב-AI. זאת אומרת שה… כרגע הסטקטורה של המשק האמריקאי הוא מאוד ריכוזי.

‏אפרת: ושבע החברות האלה, צריך פשוט להגיד את זה כי… כי אנחנו לוקחים את זה כמובן מאליו שזה מובן, אבל אולי זה לא - שבע החברות האלה מושקעות מאוד בפיתוח סופר אינטליג'נס. זה מה שהן עושות.

‏ד"ר גודמן: זה מה שהם עושות.

‏אפרת: המטרה שלהם זה לא לפתח את ה-"ChatGPT 7" או את "Gemini…" לא יודעת איזה מספר הוא, או…

‏ד"ר גודמן: לא. המטרה היא AGI.

‏אפרת: המטרה היא AGI.

‏ד"ר גודמן: נכון. זה המטרה המוצהרת. זה המטרה. זה הזהב!

‏אפרת: כן. והם משקיעים את כל ה… כאילו מיליארדים זה מילה לא רלוונטית, טריליונים.

‏ד"ר גודמן: נכון. הערך של אנבידיה זה חמש טריליון דולר; הערך של OpenAI זה חברה שהרגע קמה, זה 500 טריליון דולר, לא משקף את הערך הריאלי של החברה היום. ההכנסות שלהם, ביחס לערך שלהם, הם קטנות מאוד, הוא משקף את הערך העתידי שלהם. זאת אומרת, הוא משקף את האופן שבו אנשים מנבאים, מאמינים, משערים שיהיה ההכנסות העתידיות שלהם. הדרך היחידה להצדיק את הפער הגדול בין הערך המנופח של החברה לבין ההכנסות היחסית מעטות שלה, זה להגיד שהחברות האלה ימצאו את הזהב.

‏אפרת: את הנפט.

‏ד"ר גודמן: הם יבקיעו אל עבר ה-AGI ולעבר הסופר אינטליג'נס. ואם זה יקרה אז ההשקעות יחזירו את עצמן, וזה לא הייתה בועה.

‏אפרת: כן.

‏ד"ר גודמן: אבל, מה יקרה אם הם לא יבקיעו לעבר סופר אינטליג'נס? מה יקרה אז? או שזה יתעכב מאוד, הסופר אינטליג'נס או… זה יהיה הרבה יותר יותר מאכזב ממה שכולם חשבו.

‏אפרת: זאת אומרת שכל הטריליונים האלה שמושקעים, זאת אומרת, אנחנו יכולים לדמות את זה להרבה מאוד חברות שמשקיעות בקידוחי נפט, חלקן משקיעות ב… כזה, בקונגו הזה…

‏ד"ר גודמן: אני בטוח שזה המכשיר. [צוחק]

‏אפרת: כן. לא. וחלקם משקיעות ב… ב… במכניקה של המכשיר עצמו, נכון? בשבבים, בחברות שרתים. חלקן משקיעות בכוח… וזה הדגש פה, בכוח אדם ויש פה טכנולוגיה ויש פה מחש… כל המשאבים האלה מושקעים בלקדוח ולחפש נפט, כי מאמינים שהנפט נמצא שם.

‏ד"ר גודמן: והנפט יחזיר את כל כל ההשקעה.

‏אפרת: נכון. ברגע שנגיע לנפט, כל ההשקעה הזאת תהיה משתלמת.

‏ד"ר גודמן: זו האמונה של המשקיעים.

‏אפרת: כן. אז כבר דיברנו על מה קורה אם מגיעים לנפט, הוא עשוי להתפוצץ ולכלות את כדור הארץ.

‏ד"ר גודמן: [צוחק] כן.

‏אפרת: אבל, מה קורה אם כל ההשקעה הזאת הולכת ואין נפט, או שמגיעים בסוף לאיזה שלולית של נפט שלא מצדיקה את ההשקעה?

‏ד"ר גודמן: זה, זה אומר שהיינו בבועה. הבועה מתרסקת, ויש משבר כלכלי אדיר בגלל שכששבע החב… צריך לזכור את המבנה הריכוזי, כששבע החברות האלה קורסות…

‏אפרת: את מי הם לוקחות ביחד איתן?

‏ד"ר גודמן: את… כל השוק יורד יחד איתם.

‏אפרת: במילים אחרות, בין אם אנחנו מודעים לכך ובין אם אנחנו לא מודעים לכך, כולנו תלויים בחברות האלה, וקריסה שלהן היא קריסה שלנו ברמה האישית, היא של המדינות שלנו, היא של העולם המערבי.

‏ד"ר גודמן: כלומר, זה אומר משבר כלכלי. משבר כלכלי גדול שכולנו סובלים ממנו. משבר כלכלי גדול. אני רוצה רגע לחשוב על תרחיש של המשבר הכלכלי. התרחיש שאנחנו בבועה, והמשמעות היא שה-AI מוליך אותנו, כשהבועה תתפוצץ, למשבר כלכלי. יכול להיות שזה משבר כלכלי שהוא שונה ממשברים קודמים, בגלל ש… אנחנו כבר בתוך משבר, לא כלכלי אבל פוליטי. בישראל, בארצות הברית, כמעט בכל מדינות המערב יש משבר פוליטי שגורם לשיתוק פוליטי, שיש שנאה, יש רעל, יש קיטוב מטורף ויש אובדן אמון במוסדות השונים. מה קורה אם יש התלכדות המשברים? מה קורה אם את שופכת אל תוך המשבר הפוליטי משבר כלכלי?

‏אפרת: משבר כלכלי חסר תקדים!

‏ד"ר גודמן: אבטלה, אין לאנשים כסף. אנשים כועסים. איך זה נראה? איך נראה התלכדות המשברים? עכשיו, אפרת, זה איום שלצערי אנשים לא רואים אותו. הוא עשוי להיות בדרך. אם למשבר הפוליטי הנוכחי יצטרף משפר כלכלי…

‏אפרת: זה לא ייגמר טוב.

‏ד"ר גודמן: אני חושב שיהיה דם ברחובות. ואז זה גורם לך לחשוב, רגע, אז הלוואי שיגיעו ל-AGI [מחייכים] שזה לא יהיה בועה, שלא נחווה את המשבר.

‏אפרת: שימצאו את הנפט בסוף.

‏ד"ר גודמן: שימצאו את הנפט. ופתאום עלויות אנרגיה ירדו כי יפתרו את בעיית האנרגיה, ה-AGI יפתור הכל, ולא יהיה סרטן ולא יהיה מחלות… שכל השפע הזה ייכנס, הבועה לא תתפוצץ כי היא לא הייתה בועה, כי ההשקעות היו מוצדקות, כי הערך האדיר של אנבידיה ו-OpenAI מצדיק את עצמו, הכול יסתדר. בעצם, אנחנו… מה שאנחנו מנסים לומר כאן שאצולת ה-AI לקחו הימור על הכסף של המשקיעים שלהם, אבל מי שיושפע מההימור הזה זה לא המשקיעים, זה כולנו ביחד. ואם רגע נחבר את החלקים השונים של מה שאנחנו מנסים להגיד כאן ביחד…

‏אפרת: ונחזור לאותה צומת שבה האנושות עומדת…

‏ד"ר גודמן: נכון.

‏אפרת: וצריכה להחליט האם היא מעדיפה שיגיעו ל-AGI או מעדיפה שלא יגיעו ל-AGI?

‏ד"ר גודמן: אז בואי נחשוב על דבר כזה. עכשיו אנחנו בסכנה של משבר כלכלי, ואם יגיעו ל-AGI הסכנה הזאת תחלוף. אבל אז אנחנו במשבר קיומי. כל מה שעשינו זה הימרנו סיכון בסיכון, הימרנו סיכון כלכלי בסיכון קיומי.

‏אפרת: ולזה קוראים בחז"ל "אוי לי מיצרי ואוי לי מיוצרי".

‏ד"ר גודמן: אבל שתי הסיכונים האלה, אנחנו לא בחרנו להיות במצב של בועה וסיכון כלכלי, זה ישפיע על החיים שלי, אבל אני לא השפעתי על זה.

‏אפרת: מי כן מקבל את ההחלטות האלה? בוא נגיד שוב.

‏ד"ר גודמן: ועל הסיכון הקיומי אני לא קיבלתי את ההחלטה ואת לא. מי? אצולת ה-AI. סאם אלטמן OpenAI, אילון מאסק, דריו אמודיי, דמיס הסביס של גוגל, DeepMind, קבוצה… מוסטפא סולימאן ממיקרוסופט - קבוצה די קטנה של אנשים. ההחלטות שלהם יעצבו את הגורל של כל שאר האנשים.

‏אפרת: ובמדעי המדינה, איך נקראת שיטה פוליטית שבה קבוצה מאוד קטנה, של מעט מאוד אנשים, מקבלת החלטות עבור קבוצה מאוד מאוד גדולה של אנשים, בלי לשאול אותה, בלי להתייעץ איתה ובלי שהם יוכלו להשפיע עליה?

‏ד"ר גודמן: אוליגרכיה.

‏אפרת: עכשיו, הדבר המדהים הוא ש… אני מוכנה להמר ש… 80% מהמאזינים והמאזינות שלנו לא הכירו 90% מהשמות שאמרת עכשיו. [ד"ר גודמן מהמהם] כי אנחנו עסוקים מאוד בדמוקרטיה שלנו, בדמוקרטיה שלנו - כמה היא מתפקדת, כמה היא לא מתפקדת, מי משפיע יותר, בית המשפט העליון או הכנסת או הממשלה, ואנחנו בדקנו את זה בגוגל טרנס…

‏ד"ר גודמן: נכון.

‏אפרת: איזה שם מוכר יותר, השם של מאי גולן או השם של סאם אלטמן?

‏ד"ר גודמן: נכון.

‏אפרת: או… כשאתה כותב בגוגל אמממ… דמיס הסביס…

‏ד"ר גודמן: היזם של DeepMind, מי שמוביל אותנו לעבר AGI…

‏אפרת: כן, הוא רק התוצאה החמישית בחיפוש… [צוחקת]

‏ד"ר גודמן: של גוגל.

‏אפרת: של גוגל עצמו, בן אדם, זה מקום העבודה שלך. לא נעים [צוחקים]. כותבים דמיס, יש איזה זמר יווני שקופץ לפניו.

‏ד"ר גודמן: כן.

‏אפרת: ולעומת זאת, כשאנחנו כותבים את השמות של הפוליטיקאים שלנו, בלי להעליב אף אחד ובלי להיות כאילו פרובינציאלים מדי, כולנו מדברים על כל הדב… המדמנה הפוליטית המאוד מאוד נמוכה ובוצית שאנחנו נמצאים בה; אנחנו, כמטאפורה ולא כמטאפורה, חופרים בחול כדי למצוא סמארטפון [מחייכת], במקום להבין שכולנו הולכים לשקוע בתוך חול טובעני, שבקצה שלו אין סמארטפון, יש תהום.

‏ד"ר גודמן: הקשב הפוליטי שלנו צריך להיות מופנה כמו זרקור לאיפה שהכוח נמצא, איפה שמקבלים החלטות שמעצבות את גורלנו. כרגע, כמעט כל הקשב שלנו נמצא בתוך הפוליטיקה המדינתית. הבעיה היא שלא כל הכוח נמצא בפוליטיקה המדינתית. נתחים אדירים של הכוח נמצאים מחוץ לפוליטיקה המדינתית. הם נמצאים באצולת ה-AI. והכוח נמצא שמה, אבל הקשב הפוליטי שלנו, החשדנות הפוליטית שלנו, היא לא נמצאת שם. יש כאן בעיה מבנית. הבעיה היא כזאת: מדינות מחויבות לאזרחים שלהם. מערכת התמריצים עובדת כך שפוליטיקאים רוצים לרָצות את המצביעים שלהם.

‏אפרת: כן, זה קצת הבעיה. כולנו חיים בתוך העידן הפופוליסטי הזה.

‏ד"ר גודמן: נכון, אבל, אבל כן, אבל לפחות המדינה מחויבת לאזרחים שלה.

‏אפרת: כן. ואנחנו מכירים את זה. אנחנו… בסוף אתה אומר, אם יש איזה נציג שלנו ששלחנו אותו ל… לפרלמנט, והוא בוגד ב… ב… בהבטחות שלו, אז אנחנו יכולים לבוא אחרי ארבע שנים…

‏ד"ר גודמן: לפטר אותו!

‏אפרת: ולהגיד לו: "אתה מפוטר!".

‏ד"ר גודמן: זאת אומרת, אם יש כוח למדינה, יש כוח לאזרחים. תאגיד, לעומת זאת, חברה כלכלית גדולה, היא לא מחויבת לאזרחים, היא מחויבת רק לבעלי המניות. מכאן יוצא שאם תאגידים יותר חזקים ממדינות, ואם תאגידים משפיעים על החיים שלנו יותר ממדינות, אנחנו איבדנו שליטה על החיים שלנו. וכאן, סביב ה-AI, אנחנו רואים תהליך שבו תאגידים משפיעים על החיים שלנו יותר ויותר, ולגבי השאלות הכי גדולות יותר ממדינות, ולכן איבדנו שליטה על החיים שלנו. וזה כבר קורה, ולא מדברים על זה, בשביל זה אנחנו צריכים לדבר על זה. ו… הדרך היחידה להחזיר שליטה על החיים שלנו, זה שהמדינות יתעוררו ויגבירו את מידת השליטה וההשפעה שלהם על תעשיית ה-AI. לבוא ולקחת מונופולים ולפרק אותם, זה מה שמדינה צריכה לעשות, למנוע מהצטברות של כוח, היא צריכה להטיל רגולציה על סוג הטכנולוגיות שיוצרים ולפקח עליה, לראות שזה לטובת האזרחים. יש את הבעיה של מירוץ החימוש עם סין? יאללה - איפה היוזמה המדינתית לייצר איזשהו כמו ש…

‏אפרת: אמנה בינלאומית.

‏ד"ר גודמן: אמנה בי… כמו ש… האמנה למניעת הפצת נשק גרעיני, בוא נתחיל לדבר על זה, אבל עם טכנולוגיה. יש גם רעיונות, מכוני מחקר עובדים על דברים, אבל הדברים האלה רק יקרו אם זה יעניין את הציבור, כי התמריצים הם עובדים ככה שמנהיגים פוליטיים לוקחים סיכונים פוליטיים איפה שיש תמריצים פוליטיים, איפה שיש רווחים פוליטיים, ואין רווחים פוליטיים איפה שאין ערנות פוליטית. זאת אומרת, העובדה שהקשב שלנו מוסט רק לתוך הפוליטיקה המדינתית, מאפשר ל… מרכזי כוח חלופיים להתפתח.

‏אפרת: לאוליגרכיה חדשה.

‏ד"ר גודמן: לצבור עוצמה, להשפיע על החיים שלנו מבלי שיש לנו השפעה עליהם. וככה נראה תהליך של אובדן הריבונות שלנו, והמודרניות שקרסה אל תוך עצמה. המודרניות שבאה עם בשורה: אתה מעכשיו הריבון. אותה המודרנית שהלכה והתפתחה ויצרה טכנולוגיה יוצאת דופן, ויצרה תאגידים שמייצרים מציאות, שבו אתה מרגיש שאתה הריבון, אתה חושב שאתה הריבון - אני משפיע על המדינה, כל הפוליטיקאים מנסים לרצות אותי כל הזמן, כול… אתה מרגיש שאתה הריבון, אבל אולי לא שמת לב, אולי המדינה מנסה לרצות אותך אבל המדינה היא כבר לא קובעת, או קובעת הרבה פחות מבעבר את הגורל שלך. הכוח נמצא במרחבים שבהם ההשפעה שלך כבר לא נמצאת.

‏אפרת: וזה לא עתידנות, זה קורה כבר עכשיו.

‏[השיר "They Don't Care About Us", בביצוע מייקל ג'קסון]

“…Skin head, dead head.

Everybody gone bad.

Trepidation, speculation.

Everybody allegation.

In the suite, on the news.

Everybody, dog food.

Black man, black mail.

Throw your brother in jail.

All I wanna say is that

They don't really care about us.

All I wanna say is that

They don't really care about us.

Now tell me what has become of my rights.

Am I invisible because you ignore me?”

‏בפרק הבא נמשיך לדבר על איך מהפכת הבינה עומדת לבצע רעידת אדמה בסדר הפוליטי הקיים כפי שאנחנו מכירים אותו.

‏תודה לניר לייסט ולאור שמיר העורכים, למיכל אטיאס ולאייל לוויט על ההפקה ולניבה גולדברג ולמתן חיים מצוות הדיגיטל. כל העונות הקודמות של "מפלגת המחשבות" זמינות ביישומוני ההסכתים וגם באתר "בית אבי חי", שם תוכלו למצוא תכנים מעולים נוספים.

‏[המשך השיר "They Don't Care About Us"]

“…Some things in life they just don't want to see.

But if Martin Luther was livin',

He wouldn't let this be no, no, aay.

Skin head, dead head.

Everybody, gone bad.

Situation, segregation.

Everybody, allegation.

In the suite, on the news.

Everybody, dog food

Kick me, kike me.

Don't you wrong or right me.

All I wanna say is that

They don't really care about us.

All I wanna say is that

They don't really care about us.

All I wanna say is that

They don't really care about us…”

---

לעוד פרקים של הפודקאסט לחצו על שם הפודקאסט למטה