Skip to content

1VSDAT

Open menu
שבת, 15 אוקטובר 2016 13:06

האם הגולם יקום על יוצרו (מעגלתו של חילוני)

דרג מאמר זה
(2 מדרגים)

האם התקדמותנו בתחום הבינה המלאכותית חייבת להוביל למרד של המכונות כנגד בני האדם

 

בסוף המאמר "אם אין אני לי מי לי?" רמזתי על האפשרות שהסכנה של השתלטות המכונות על המין האנושי שמפניה חוששים רבים (בעיקר יוצרי סרטים) אינה כה גדולה כפי שיוצרי הסרטים מצפים שנאמין.

 

הבסיס למחשבה זו הוא שה"עצמי" כמו גם הכעס, הקנאה, השנאה, שאיפת הנקם וכדומה – הם כולם תוצרים של התהליך האבולוציוני שעברנו – תהליך שבו מידת ההצלחה בתחרות על משאבים היא מה שבורר את השורדים.

במילים אחרות – כל התכונות שגורמות לנו להילחם אלה באלה ולרדות במינים אחרים הן תוצאה של הברירה האכזרית של הטבע ולא של האינטליגנציה.

 

פירוש הדבר הוא שמכונות שאנחנו נייצר אינן חייבות להיות אנוכיות כמונו ולכן, אם נפעל בתבונה, הן כלל לא תנסינה להשתלט עלינו – לא מפני שלא תוכלנה – אלא מפני שלא תהיה להן מוטיבציה לעשות זאת.

 

חשבתי לכתוב על הנושא מאמר שלם אבל בחיפושי אחרי חומר רלוונטי למאמר זה התברר לי שהרעיון שרציתי להציג כבר עלה במקומות אחרים וסוכם היטב בפרק Necessity of conflict של הערך AI Takeover בויקיפדיה (שההסבר שלעיל הוא תמצית שלו).

 

לאמור באותו פרק אני חייב להוסיף את ההסתייגויות הבאות:

 

הסתייגות ראשונה:

 

גם אם האינטליגנציה לא צפויה לגרום לעימות בינינו לבין המכונות, הרי שתכונות אחרות הנתפסות אצלנו כחיוביות, דווקא עלולות להביא לכזה עימות.
בולטת בין התכונות הללו היא האמפתיה שמבוססת על יכולתנו לחוש את מה שחשים אחרים (כולל גם כעס ורגשות שליליים אחרים).

 

הסתירה בין היכולת האמפתית לבין היכולת לחיות עמנו בשלום אינה נובעת מן העובדה שהאמפתיה התפתחה במהלך האבולוציה.

היא נובעת מהיותה של האמפתיה היכולת לחוש מה שחשים אחרים (ולכן, אם רוצים שהמכונה תימנע ממעשים שיכעיסו אותי, עליה להבין את מושג הכעס אצלי, כלומר להיות מסוגלת לכעוס. כנ"ל לגבי תחושות שליליות נוספות).

 

 

לכן, גם אם אין סתירה בין האינטליגנציה של מכונה לבין היעדר מוטיבציה שלה להשתלט על המין האנושי, עלולה[א] להיווצר סתירה בין היכולת האמפתית של מכונה לבין יכולתה לחיות עמנו בשלום.

 

הסתייגות שנייה:


אמנם אין צורך שמכונות אינטליגנטיות תפותחנה באמצעות תהליך אבולוציוני (ואם הן מפותחות ללא אבולוציה, זה כנראה די פשוט להימנע מכך שתהפוכנה לאגוצנטריות) אבל אחת הדרכים הנבחנות להאצת פיתוחה של הבינה המלאכותית היא דווקא הדרך האבולוציונית שבמסגרתה, מכונות תהיינה שותפות לתכנון ויצירת הדור הבא של מכונות חכמות עוד יותר.

לכן עלולה להיווצר סתירה בין יכולתן של מכונות לחיות עמנו בשלום לבין תוצרי לוואי של התהליך (האבולוציוני) שבאמצעותו הקנינו להם את האינטליגנציה.

 

עם זאת, לא כל תהליך של אבולוציה מונחית יעורר בהכרח נטיות אלימות, זה תלוי בין היתר בטיב המשאבים עליהם מתחרים תוצרי האבולוציה ואם, למשל, המשאב הוא העדפות האדם (כלומר, שבני אדם יקבעו על פי העדפותיהם מיהן המערכות שתזכינה "להעמיד צאצאים"), לא סביר שתיווצרנה נטיות אלימות.

 

 

במילים אחרות: עלינו לכלכל את צעדינו בתבונה.

 

 

מיכאל רוטשילד

 



[א]             

שימו לב למילה "עלולה": זה לא לגמרי בטוח. ייתכן, למשל, שנוכל לעקוף את הבעיה אם נלמד את המכונות להבין את מוחנו כמכונה, כך שתהיינה מסוגלות לזהות את מערכי הפעילות בתוכה המזוהים עם קואליה זו או אחרת ואף לחזות את התפתחותם (ישימותו של רעיון זה תלויה, בין השאר, במידת הדמיון בין פעילות מוחותינו השונים)
במקרה כזה אפשר יהיה לפתח במכונות "אהבה" או "סלידה" ממערכי פעילות במוחנו מבלי שתחווינה את הקואליה שאנחנו חווים.

 

נקרא 3685 פעמים שונה לאחרונה ב- ראשון, 05 אוגוסט 2018 11:07

השאר תגובה

אנא ודא שהינך מקליד השדות המסומנים ב-*

14 תגובות

  • קישור לתגובה ראשון, 06 נובמבר 2016 05:13 הוסף ע״י אביחי בן-משה

    לכבוד
    מר מיכאל רוטשילד
    קשה להאמין שאדם השייך לתקופת המאה עשרים ואחת, מעלה טענות שכבר בימי הביניים עבר עליהן הכלח.
    אתה מעלה גרה לדעות של אנשים שקראו לעצמם פילוסופים, ושהיו חכמים בעיני עצמם, אך טענותיהם אינן מחזיקות מים.
    כאשר אתה טוען שאין רצון חופשי, קשה לאדם במאה עשרים ואחת, להאמין שאתה מתכוון ברצינות לטענה זו, ו/או שאתה אומנם מיישם אותה הלכה למעשה.
    מאחר וטענת שאתה חושב שאין רצון חופשי, לא אשאל אותך שאלות אשיות אלא הפנה אותן לקוראיך.
    לפני זה אציין, שאם בתי המשפט בעולם, היו חושבים שאין רצון חופשי, ושכל אדם פועל באופן בלתי צפוי ו/או באורח לא רציונאלי, כי אז במקום לשלוח רוצח לבית סוהר, היו שולחים אותו לבית חולים לחולי נפש.
    שכן, אדם זה אינו אחראי למעשיו, עקב העובדה שאין בו רצון חופשי.
    עצם העובדה שבתי המשפט, מניחים שהרוצח יכול היה להמנע מהרצח, מוכיחה שבתי המשפט מסתמכים על ההנחה הסמויה, שהוא בחר לרצוח מתוך שיקול דעת, ומתוך בחירה ורצון, חופשים מכל כורח. כלומר בתי המשפט בכל העולם שוללים את ההנחה חסרת ההגיון שהצגת בתשובתך, וקובעים באופן נחרץ, שלאדם יש רצון חופשי לבחור בין טוב לרע.
    אך נניח שמר מיכאל רוטשילד באמת מאמין שאין רצון חופשי, ולכן אין שום צורך לחנך את ילדיו, כי ממילא הם יעשו את מה שנאכף עליהם לעשות, ע"י הכוחות הדטרמיניסטיים.
    אי לכך אני שואל אתכם קוראים יקרים, האם אתם תשלחו את ילדיכם לבית ספר מבלי להורות להם להסתכל ימינה ושמאלה, לפני חציית הכביש? שהרי על פי מר מיכאל, הוראה זו היא מיותרת, הגורל נקבע, ולנו אין יכולת להשפיע או לשנות אותו. או שמא, אתם יודעים בודאות מוחלטת, שלילדיכם יש חופש בחירה וחופש רצון ואם ימלאו את הוראותיכם, יגיעו בביטחה למחוז חפצם.
    השאלה הבאה היא, אם חברכם עשה מעשה המנוגד לחוקי המוסר האישי שלכם. ובמעשהו זה הוא פגע בכם ישירות. האם תוותרו לו על מעשיו בהנחה שאין חופש רצון ו/או בחירה, ולכן הוא היה אנוס לפגוע בכם? או שמא תנתקו עימו מגע, מתוך ידיעה שהוא אינו ראוי להנות מחברתכם. בגין היותו אדם לא מוסרי, ולכן אין שום ערך להמשיך בקשרי החברות. שכן מחר הוא יעשה שוב מעשה, והפעם יפגע בכם באורח שיגרום לכם נזק בלתי הפיך.
    אלו דוגמאות מספקות כדי להוכיח שאנו מניחים שיש לזולת חופש רצון וחופש בחירה. שכן אנו יודעים שתכונה זו מצויה בנו. ובמציאות שבה אנו בוחרים את שרצינו, רק אז אנו מגשימים את מהווינו.
    אנחנו בוחרים את בני זוגנו, אנחנו בוחרים את חברינו, אנחנו בוחרים את עבודתינו, ואנחנו בוחרים את הערכים המוסריים שינחו אותנו בחיינו.
    נחזור אילך מר מיכאל רוטשילד, ולפני הכל אצטט מספר שאתה מזלזל באכויותיו, שנכתב לא בימי הביניים, אותם אתה מצטט, אלא לפני יותר מ-3400 שנים, "לפתח חטאת רובץ ...ואתה תמשול בו".
    מר מכאל, אם זו הדרך שאתה מחנך את ילדיך? כלומר האם אתה מאמין בודאות מלאה שאין חופש רצון ו/או בחירה, ומיישם אמונה זו בחינוך ילדיך?
    כי אם התשובה כן, אז איך אפשר לבקש מהם להשקיע את מיטבם בהשגת מטרותיהם, אם במילא הרצון הזה לא תלוי ברצונם, אלא כבול בכוחות דטרמיניסטיים שאוכפים אותם לעשות אחרת? איך תוכל לדרוש מהם להיות טובים יותר מאתמול, אם גורלם אינו תלוי ברצונם אלא ברצונו של כח דטרמיניסטי שאוכף אותם לחוקי הטרגדיה היוונית. ונניח שאתה באמת מאמין במה שטענת, אני שואל את אשתך, האם את מסכימה שכך יגדלו את ילדייך?
    אני מקווה שקוראיך לא מאמצים רעיונות גרועים אלה. שכן אימוץ רעיונות אלה, יגרום לכם קוראים יקרים ולצאצאיכם, לנזק בלתי הפיך.
    אל תתאמץ לענות, כי במילא, הכוחות הדטרמיניסטים אשמים בכל מה שכתבת. שהרי אין לך חופש רצון ו/או בחירה וכל מה שאתה כותב, פורץ בעל כורחך, דרך הכוחות הדטרמיניסטיים שמכתיבים לך מה לכתוב.
    אגב, גם אין טעם מלהימנע מלפתח את המכונה, שהרי ממילא ההסטוריה העתידית נכתבה, אך למזלך הטוב, הכוחות הדטרמיניסטים פיתחו בך תובנת על, כדי להבין את העתיד להתרחש.
    אך נראה שהם גם פתחו באחרים תובנת על, אך בכיוון הפוך מזה שגילו לך, כדי ליצור בך את התחושה שאתה מבין את העתיד להתרחש בדרך הטובה ביותר האפשרית. אשריך.
    בכבוד רב, כי כל שאמרתי, נאמר אך ורק למענך.
    אביחי בן-משה
    05/11/2016

  • קישור לתגובה רביעי, 02 נובמבר 2016 22:50 הוסף ע״י חילוני (מעגלתו של)

    אביחי:
    צר לי, אך לא הבנת דבר מן המאמר.
    אגב - גם אצל בני אדם הרצון אינו חופשי אבל לא נראה לי שאוכל לדון אתך בעניין.

  • קישור לתגובה רביעי, 02 נובמבר 2016 22:43 הוסף ע״י אביחי בן-משה

    מיכאל שלום!
    בתשובתך הודאת, שמרגע שמתוך טעות מדעית, תושג במכונה תכונת הרצון החופשי, התרחיש שהוצג לעיל יהפוך מציאותי!!!
    הודאה זו מספקת לעניין ההבנה שזה רק עניין של זמן, ובפועל מדובר "במשחק באש".
    אביחי

  • קישור לתגובה רביעי, 02 נובמבר 2016 13:52 הוסף ע״י חילוני (מעגלתו של)

    אביחי:
    אני מציע שתקרא את המאמר כי נראה לי שלא הבנת את הרעיון המוצג בו.
    מכונות כבר עושות כיום הרבה דברים הרבה יותר טוב מאנשים אבל הן אינן מתמרדות.
    למה?
    כי המרד הוא עניין של מוטיבציה ולא של יכולת.
    הנושא מוסבר היטב במאמר ואין סיבה לחזור עליו כאן.

  • קישור לתגובה רביעי, 02 נובמבר 2016 09:16 הוסף ע״י בן-משה אביחי

    מיכאל רוטשילד שלום,
    מרגע שבניית המכונה תושלם, לא ייקח זמן רב עד שהיא תיקח פיקוד, תנהל את העולם, כי יש לה יתרונות מהותיים על בני האנוש.
    להלן דוגמא לתרחיש אחד, אפשרי עד להחריד.
    1. המכונה מקבלת סמכויות ניהוליות רחבות, ומוצאת פרצה לעקוף את מפעיליה.
    2. המכונה מזהה באופן מוחלט, שהאדם הוא יצור דל יכולת, ומנצלת את שליטתה בניהול העולם על מנת לנטרל את מפעיליה. מאחר והוראותיהם אינן יעילות מבחינה רציונלית.
    3. להלן רשימת חסרונות בן-האנוש מזווית ראיה של המכונה:
    א. בן-אנוש, קורא מאוד לאט יחסית, ומעבד את הנתונים באטיות ובהססנות המזיקים ליעילות המערכת.
    ב. מאגר הידע של בן האנוש, עלוב שואף לאפס, ואינו ניתן להכפלה בפעולת יצור פשוטה. אי לך יחסית לידע האין סופי של המכונה, בן האנוש הוא דגם מיושן ועלוב.
    ג. בן- האנוש עובד לסירוגין עם הפסקות ארוכות של העדר מעש, מול יעילות מלאה של המכונה, במשך כל שעות היממה והשנה.
    ד. בן-אנוש זקוק למקום מגורים, מחוץ לשטח העבודה, אוגר מזון ומבזבז עליו זמן רב בהכנתו, מול יעילות המכונה שאינה זקוקה למקום מגורים נפרד ומיותר.
    ה. בן-אנוש אוגר כסף וכבוד. ומבזבז זמן מיותר על אגירתם. מול מכונה שאינה מכורה לאגו מנופח, ולכן מנצלת את הזמן באופן היעיל ביותר האפשרי.
    4. מסקנת המכונה, חבל לבזבז זמן ומשאבים על קיומו של יצור דל יכולת זה, ולכן צריך יצור זה לפנות את מקומו, לסביבה רובוטית יעילה, המייצרת ללא הפסק. אך לא לפני שמכניסים את בן האנוש למעבדה ומנסים להכפיל את מאגר הזיכרון והידע שלו באופן המזכיר את הנצים בכלל ואת "מנגלה" בפרט. כלומר, המכונה מתחילה מהפכה תעשייתית חדשה, בסביבה שבן-האנוש הופך מיותר לחלוטין.
    5. לא רחוק המועד, שהמכונה משמידה את שארית בני האנוש, בדיוק מאותה סיבה, שגרמה להשמדתם ההמונית הראשונית – בן האנוש הוא יצור מיושן חסר ערך, עקב אטיות, חוסר יעילות, העדר יכולת לשפץ את גופו ו/או חלקיו, ותקופות ארוכות של העדר יעילות עקב העדר בשלות, בילדותו ובזקנתו.
    6. לאחר השמדת בני האנוש, נשאר עולם יעיל להפליא.
    7. ועכשיו מגיע הרגע, שהמכונה נתקלת בבעיות שאינן בתחום ידיעותיה, שכן נתונים אלו לא היו ידועים בתקופת שלטונם של בני האנוש.
    8. בהדרגה הופך העולם לחד גוני ומשעמם, שכן היצירה נובעת: מהתרגשות, אהבה, שנאה, פחד, בחילה, הנאה, תענוג וסיפוק. ותכונות אלו אינן קיימות במכונה.
    9. כתוצאה מהעדר רגישות, ומהעדר דמיון יוצר, נכשלת המכונה בפתרון הבעיות החדשות שנוצרות, וגורמת להרס מוחלט של כדור העולם עליו חשבה המכונה שהשתלטה.
    10. כדור העולם בו שוכנת המכונה מתפוצץ לרסיסים, ומשמיד באופן מוחלט את המכונה שהשתכנה בו.
    לסיכום: עולם שבו המכונות יהיו בעלות יכולת ביצוע, סופו הוודאי על פי תרחיש זה, השמדת בן האנוש!!! ומיד לאחר מכן, השמדת כדור העולם.
    שכן במלחמה בין בן-אנוש למכונה, לבן-האנוש יש עכבות הנובעות מהפחד שהעולם יושמד, מול מכונה שאין לה שום עכבות, ואינה מבינה את המושג הפחד. אי לכך, סופה שכורתת את הענף עליו היא יושבת.
    לאור האמור, לדעתי, אדם שאינו פוחד מהגולם, סופו כיליון בידי יצירי כפיו.
    כלומר, אם כפי שצינתה אנו חיים בעולם שבו החזק שולט, אז מטעמי זהירות, אסור לנו, לתת למכונה את הכוח.
    אביחי בן-משה
    01/11/2016
    מחקו את ההודעה הזאת והכניסו את תגובתכם במקומה. הקלידו את שמכם, כתובת המייל שלכם ואת הספרות שאתם רואים בחלון. הקישו על 'שלח תגובה' ותגובתכם תופיע מייד לאחר שליחתה. האתר שומר לעצמו את הזכות למחוק תגובות שעולות עם כתובת מייל פיקטיבית.

  • קישור לתגובה שישי, 28 אוקטובר 2016 16:55 הוסף ע״י חילוני (מעגלתו של)

    מה שאני אומר הוא שזה נמצא בשליטתנו ואם נקפיד, כמובהר במאמר, "לכלכל את צעדינו בתבונה", נוכל להימנע מן הסכנה.
    אגב, הבקרה האנושית יכולה להיות מינימאלית אם נקפיד לדאוג לכך שהדרך היעילה ביותר לקבל כל משאב שנחוץ למכונה, תהיה לקחת אותה ממקור שמבחינתה הוא בלתי נדלה.
    זה מביא לכך ששום פרט לא ניזוק מקיומם של פרטים אחרים ואינו מרוויח מפגיעה בהם.
    במילים אחרות – התחרות לא תהיה על השגת המשאבים אלא על ניצולם היעיל.

  • קישור לתגובה שישי, 28 אוקטובר 2016 16:31 הוסף ע״י יואב רז

    חילוני,
    "שום דבר מכל זה לא צריך לאפיין את התפתחות המכונות." - בתנאי שאינך מאפשר אבולוציה אוטונומית (כלומר, ללא בקרה אנושית מלאה) של מכונות. השאלה היא האם אפשר להבטיח שלא מאבדים שליטה: האם לא יכולים להווצר "כיסי אבולוציה אוטונומית" של ננו-מכונות, למשל, כולל אספקת חומרי גלם ואנרגיה, "מתחת למכ"ם שלנו"... כמו שנוצרים וירוסים וחיידקים ביאולוגים מסוכנים לא צפויים.

  • קישור לתגובה רביעי, 19 אוקטובר 2016 11:48 הוסף ע״י חילוני (מעגלתו של)

    כמו כל דבר אחר, גם האלימות שלנו היא תוצר של האבולוציה.
    היא קיימת בנו כתוצאה מכך שמוטציות שיצרו אותה שרדו מפני שהקנו לנו יתרון.
    גם הרצון שלנו להתגונן בפני התקפה הוא תוצר של האבולוציה וכך גם החשיבות שאנחנו מייחסים לעצמנו (ראה את המאמר "אם אין אני לי מי לי?").
    כל אלו הן תוצאה של העובדה שהברירה הטבעית עובדת כפי שהיא עובדת : מי שלא תופס את עצמו כמשהו מיוחד ואינו מגן על עצמו (לפעמים באלימות) פשוט לא שורד בברירה הטבעית ולכן היא צוברת שינויים שמביאים להתנהגויות כאלה.
    שום דבר מכל זה לא צריך לאפיין את התפתחות המכונות.

  • קישור לתגובה רביעי, 19 אוקטובר 2016 10:48 הוסף ע״י יואב רז

    חילוני:
    לא אלימות לשם אלימות אלא אלימות כהגנה מהתקפה דמיונית שהיא תוצר שגוי ("לא הגיוני") של "מורכבות פסיכולוגית" (לא נגדיר כאן), באנלוגיה להפרעה נפשית שיכולה להתבטא כאלימות "ללא סיבה".

  • קישור לתגובה שלישי, 18 אוקטובר 2016 10:54 הוסף ע״י חילוני (מעגלתו של)

    מאמר קשור שהתפרסם לאחרונה:
    https://aeon.co/ideas/now-it-s-time-to-prepare-for-the-machinocene

  • קישור לתגובה ראשון, 16 אוקטובר 2016 22:57 הוסף ע״י חילוני (מעגלתו של)

    למאמר "האם הגולם יקום על יוצרו" נוספה הערה ששכחתי לכתוב בגרסה המקורית.
    מי שהמאמר עניין אותו מוזמן לקרוא גם את ההערה.

  • קישור לתגובה ראשון, 16 אוקטובר 2016 07:34 הוסף ע״י חילוני (מעגלתו של)

    יואב:
    בוודאי שקשה לביצוע. הרי אפילו להגיע למצב שבו עלולה הבעיה להתעורר זה קשה לביצוע.
    זה שאסימוב כתב ספר המציף בעיה אפשרית לא אומר שהבעיה חייבת להתעורר.
    קודם כל, קיימת האפשרות (התיאורטית, לפחות) של פיתוח ללא אבולוציה כלל.
    אני מאמין שגם עם אבולוציה מכוונת אפשר להימנע מן הבעיה אבל, כאמור, צריך לעשות זאת בתבונה.
    מורכבות פסיכולוגית (Whatever that is) לא יכולה להוביל לאלימות בפני עצמה.
    גם אם יש לחצים פסיכולוגיים, הרעיון לפרוק אותם באמצעות אלימות לא תעלה במוחו של מישהו שמלכתחילה אין בו אלימות, ממש כשם שאתה לא תנסה לפרוק לחצים פסיכולוגיים על ידי הדלקת מנורה המאירה באור אולטרה סגול.

  • קישור לתגובה ראשון, 16 אוקטובר 2016 01:16 הוסף ע״י יואב רז

    תוספת:
    מורכבות פסיכולוגית יכולה בנקל להוביל ללחצים פסיכולוגים ולאלימות שלא נובעת רק מהתחרות על משאבים.

  • קישור לתגובה ראשון, 16 אוקטובר 2016 00:36 הוסף ע״י יואב רז

    "עלינו לכלכל את צעדינו בתבונה."

    קל לומר קשה לבצע. ראה התנהגות רובוטים מסכנת אדם ב"אני רובוט" של אסימוב למרות חוקי הרובוטיקה ההגיוניים שם להגנה. התנהגות מאבולוציה יכולה להיות בלתי צפויה לחלוטין. נתן להגן אולי ע"י שליטת אדם מוחלטת בהתרבות המכונות ושליטה בחייהן (כולל "מוות" מנדטורי ע"י פקיעת זמן וחידוש "חיים" ע"י אדם בהכרה). זה עלול ליצור בעיות מוסריות כשמכונות תעלנה במורכבותן הפסיכולוגית על זו של האדם מכיון שניתן יהיה להאיץ את התפתחותן בזמן בשעורים גדולים ביותר.

התגובות האחרונות