[קחו נשימה, זה ארוך]

0.

'צלם' ו'דמות'. כבר חשבו בני אדם, כי 'צלם' בלשון העברי יורה על תמונת הדבר ותארו; והביא זה אל הגשמה גמורה, לאמרו: "נעשה אדם בצלמנו כדמותנו", – וחשבו שהאלוה על צורת אדם – רצוני לומר: תמונתו ותארו-, והתחיבה להם ההגשמה הגמורה והאמינו בה; וראו שהם, אם יפרדו מזאת האמונה, יכזיבו הכתוב וגם ישימו האלוה נעדר, אם לא יהיה גוף בעל פנים ויד, כמותם בתמונה ובתאר, אלא שהוא יותר גדול ויותר בהיר, לפי סברתם, והחמר שלו גם כן אינו דם ובשר, – זה תכלית מה שחשבוהו רוממות בחק האלוה" (רבי משה בן מימון, מורה נבוכים, חלק ראשון, פרק א')

היכן עובר הגבול בין אנושיות? האם האנושיות היא עניין שבנפש או בגוף? מחד, ניתן להאמין כי האנושיות היא עניין שברגש; בצלם אלוה וכנגד מעשים ניתן יהיה לתפוש את האדם כאנושי: מעשים שמאפיינים בני אדם בלבד, עניינים של שיקול דעת ושל מחשבה בטרם קבלת החלטה מאפיינת את האדם בניגוד לחיה ולמכונה. אותו מנגנון של קבלת החלטות הוא שהוביל להבנה כי לאדם זכויות, חירות הביטוי עליה עמד ג'ון סטיוארט מיל (על החירות) בצורה משמעותית נועדה להגן על היכולת של אדם להוציא לפועל את מחשבותיו ולשכנע את הזולת; זכויות אחרות, כגון הזכות לקניין, משקפות את העבודה שהושקעה על ידי אדם ואת עמלו (ג'ון לוק, מסה שניה על הממשלה). בעצם, התפתחות הזכויות האנושיות היתה דרך טבעית כדי לקדם את היכולת לחיות בחברה אחת; שפה, היוצרת חברה, היא זו שהתוותה את העקרונות בבסיס הזכויות (סלבוי ז'יז'ק, המהפכה הפרוורטית), ולולא קיומה של שפה, לא ניתן היה להגדיר את אותן זכויות, שהתפתחו כחלק מהצורך לנהל שפה (לודוויג ויטגנשטיין, הרצאות על יסודות המתמטיקה, 1938).

1.

באלתוסריאנית, כשאני אומר "שלום דני, מה שלומך?" אני בעצם מתכוון ל"שלום. אני מכיר בך כדני, חברי הטוב", אבל באותה נשימה גם מוסיף "ובתור מי אתה מכיר בי?" ודני, מצדו, עובר תהליך זהה כמובן" (אייל דותן, המהפכה של אלתוסר, בתוך: לואי אלתוסר, על האידיאולוגיה)

תהליך ההכרה הוא בעצם הבסיס האנושי לזכויות; היכולת של אדם להבין מיהו הסובייקט השני שנמצא מאחורי מסך הזהות ולהכיר בו כשווה, שונה או בעל רצונות. הסובייקטיבציה של החברה, כחברה מלאת סובייקטים, מאפשרת לנו לצאת ממצב הטבע, בו כל אדם אנוכי לרעהו. אלא שהסוביקטיבציה נפגמה בסדרת ניסויים של סטנלי מילגרם (ציות לסמכות: מבט ניסויי, 1974). מילגרם ביקש לבחון היכן עומדת האנושיות ומה מבדיל בינה. מילגרם לקח נסיינים שהועמדו בפני נסיינים אחרים (שהיו שחקנים), הנסיינים נדרשו לתת לשחקנים חידות זכרון ותרגילים שונים, וכל פעם כאשר אלה שגו להפעיל עליהם שוק חשמלי. מילגרם ניסה לבחון מתי יעצרו התלמידים ויטילו ספק בניסוי או יסרבו לחשמל אדם אחר בצורה שעשויה לחשמלו למוות. חלק ניכר מהנסיינים עמד בפקודות והמשיך לחשמל את השחקנים. מטרת הניסוי של מילגרם היתה לבחון את השאלה, שנשאלה כאן בעצם קודם: האם ציות לפקודות הוא מעשה אנושי גם כאשר הפקודה אינה אנושית? בכך, מילגרם מהווה בעצם את הצעד הראשון במסקנתו במחקר זה; אנושיות נתפסת על ידי הציבור כמשהו גופני יותר מאשר נפשי. הרי אם הדבר לא היה כך, הרי מי שהיה נוהג בצורה שאינה אנושית היה זוכה לעונש שאינו אנושי. ואולם, חוקות בעולם אסרו על ענישה אכזרית ושאינה אנושית (כגון בהצהרת זכויות האדם הבריטית מ1689 ובתיקון השמיני לחוקה האמריקאית). כלומר, העובדה שאדם נהג בצורה שאינה אנושית, עדיין מבטיח לו זכויות בשל היותו אדם. כך גם ההכרזה לכל באי עולם בדבר זכויות האדם, אשר מקנה "הכרה בכבוד הטבעי לכל בני משפחת האדם ובזכויותיהם השוות והבלתי נפקעות הוא יסוד החופש, הצדק והשלום בעולם". כלומר, היותו של אדם גוף בעל מאפיינים פיסיולוגיים טבעיים כגון לב פועם, נשימה, ואנתרופיה הופכת אותו לבעל זכויות. אבל האם דרושה קוגניציה למתן זכויות אלה?

2.
אולם, ליתן זכויות לאדם באשר הוא אדם היא תופעה חדשה יחסית שבאה יחד עם מתן זכות הבחירה לנשים; במשפט העברי היתה האישה קניין של אביה, ומאוחר יותר של בעלה (ומכאן הביטוי "בעל", שמצביע על בעלות) (וראו, שמואל ספראי, מחויבותן של נשים במצוות במשנתם של התנאים). ניתן יותר מכל ללמוד על זכויות הנשים בפרקים כא וכב לספר שמות, אשר מקנים את משפטי התורה; כאשר ספר התורה פוסק "וְכִי-יְפַתֶּה אִישׁ, בְּתוּלָה אֲשֶׁר לֹא-אֹרָשָׂה–וְשָׁכַב עִמָּהּ: מָהֹר יִמְהָרֶנָּה לּוֹ, לְאִשָּׁה. אִם-מָאֵן יְמָאֵן אָבִיהָ, לְתִתָּהּ לוֹ–כֶּסֶף יִשְׁקֹל, כְּמֹהַר הַבְּתוּלֹת" הוא מגדיר בדיוק את מרכז האישיות המשפטית: האב הוא הבעלים של בתו, ויכול למכרה; אותה דוגמא באה גם בפרק כא בספר שמות כאשר מובהר "וְכִי-יִמְכֹּר אִישׁ אֶת-בִּתּוֹ, לְאָמָה–לֹא תֵצֵא, כְּצֵאת הָעֲבָדִים". אולם המשפט העברי לא היה לבד. גם במשפט הרומי, בקוד יוסטיניאן אשר קבע כי לאב יש בעלות מלאה לכל משפחתו המורחבת, לרבות ילדיו ונכדיו. בעצם, מוסד הזכויות בפני החוק היה מוסד מעניין; אשר דן לא רק בזכויות אלא גם בחובות.

ואכן, בתקופה הקדומה, בה עסקים נעשו בין פיאודלים לעצמם ובין עסקים משפחתיים, מוסד האישיות המשפטית היה מוסד נח מאוד. לא היו כמעט עסקאות מסובכות, הלוואות נטלו מבני אדם, ולבני אדם היתה אחריות על עסקיהם. במקרים נדירים, בהם עסקים מסובכים רצו להתאגד, נפתחו שותפויות אשר בהן השותפים היו אחראים, ביחד ולחוד, לעסקיהם. אולם, לעיתים היה צורך בהתאגדות רחבה יותר של חבר בני אדם לצורך עשיית עסקים. לצורך כך, השליטים מעת לעת החליטו על מתן צ'רטר לעשיית עסקים; בדרך כלל היה מדובר על חברות כמו חברת מזרת הודו שהוקמה ב1600, אשר ניתן לה המונופול לסחור, בשם כל סוחרי בריטניה עם עסקים במזרח אסיה. בחברת מזרח הודו היו חברים בעלי מלאי (stock) שנסחר (וראו Ron Harris, The English East India Company and The History of Company Law). עקב הקמת חברות מסוג זה, ולצורך הבנה כי אותן חברות הן בעלות אינטרס נפרד מבעלי המלאי בהן, החלו להכיר בכך שלחברות אלה יש גם אישיות משפטית כלפי החוק. ההבנה שבעלי המלאי (שעם השנים הפך להיות "מניה") בחברה שונים מהחברה עצמה, בעלי אינטרס שונה ובעלי אחריות שונה התקבלה על ידי בתי המשפט במהלך המאה ה19 הן בארצות הברית ( Dartmouth College v. Woodward, 17 U.S. 518 (1819) והן בבריטניה (Salomon v A Salomon & Co Ltd [1897] AC 22). (וראו גם Bryant Smith, Legal Personality, The Yale Law Journal, Vol. 37, No. 3 (Jan., 1928), pp. 283-299)

הרציונאל למתן אישיות נפרדת באמצעות אותו צ'רטר היתה כדי לעודד פעילות עסקית ( Mohammad Rizal Salim, Corporate Insolvency: Separate Legal Personality and Directors' Duties to Creditors (2004). UiTM Law Review, Vol. 2, pp. 90-103, 2004. ) בן אלגרוב מונה מספר רציונאלים להענקת אישיות משפטית לתאגידים (Allgrove, Ben, Legal Personality for Artificial Intellects: Pragmatic Solution or Science Fiction? (June 2004)) ומסכם אותן כשלוש עיקריות: (i) פיקציה שנועדה לקידום עסקים; (ii) תיאוריה סימבולית, לפיה התאגיד מקדם את האינטרס של חבריו; ו(iii) התיאוריה הריאליסטית, הגורסת כי תאגידים הינם גופים ממשיים, אשר היחס מצד החברה יצר להם מעמד משל עצמם (בצורה מעניינת, אלגרוב מצטט מקרה בשם Pramatha Nath Mullick v. Pradyumna Kumar Mullick, L. R. 52 I. A.. 245 (1925), אשר בו הוכרה אישיות משפטית לאלהות).

אולם, בכל אחת מהגישות הסממן העיקרי והמשמעותי ביותר להכרה בזכויות משפטיות וחובות בפני החוק הינו ההכרה של הסביבה באותה האישיות. כמו המודל האלתוסריאני, בו אני נדרש להכיר בדני שמכיר בי, הרי שהמודל של דיני החברות דורש הכרה בתאגיד לצורך הקניית זכויות; אין זה משנה אם מדובר באישור טכני של רשם חברות לפיקציה משפטית, או באקט משפטי של לידה לאישיות טבעית. האישיות המשפטית מתקיימת מכח הכרה של שאר בעלי הזכויות באותה אישיות.

ההכרה שאינה פיקציה ניתנת להסבר פשוט יותר כפי שמובא בRoe v. Wade 410 U.S 113 (1973), באותו המקרה עלתה השאלה האם חקיקה האוסרת על הפלות הינה מנוגדת לחוקה האמריקאית. באותו המקרה, בית המשפט העליון האמריקאי דן בשאלה מתי בדיוק הופך עובר לאישיות משפטית בעלת זכויות וחובות כדין; בית המשפט הגדיר את השאלה כשאלה פילוסופית סבוכה, כאשר הציג את המחלוקות הפילוסופיות, התיאולוגיות והאתיות. כאשר בית המשפט סוקר את דיני ההפלות ועונה כי השאלה האם הרופא המבצע הפלה חייב בהריגה, רצח או עונש אחר, תלויה בתפישה של הזכויות של העובר על ידי אותו גוף.

ענישה דומה על הפלה ניתן למצוא במקרים של בעלי חיים; הגם שלבעלי חיים אין זכויות כלפי חוק, ישנה ענישה ספציפית על פגיעה בבעלי חיים. כך, לדוגמא, בישראל הוחק חוק צער בעלי חיים (הגנה על בעלי חיים), אולם נסיונותיו של ח"כ יואל חסון, הצעת חוק הקוראת לשנות את שם החוק לחוק זכויות בעלי חיים נדחתה. למרות העדר זכויות לבעל החיים, ובדומה לענישה שונה על השחתת רכוש, הרי שפגיעה גופנית בבעלי חיים (כמו בעוברים) אסורה למרות העדר זכויות לבעלי החיים בדין. כך היה כאשר מספר גופים סביבתיים עתרו בבג"צ 466/06 אסתר דבורה רייז נ' המועצה הארצית לתכנון ובניה. כב' השופט אליקים רובינשטיין פסק כי:

תהיתי אם יכול בעל חיים כשלעצמו – להבדיל מארגונים להגנת בעלי חיים – להיות עותר, או שמא הניחו העותרים את עתירתם בהקשר משפטי ספציפי זה על קרן הצבי. אמנם, לצבי מעמד משפטי מוגן כערך טבע מוגן (אכרזת גנים לאומיים ושמורות טבע (ערכי טבע מוגנים), התשל"א-1971, שם הוא קרוי הצבי הארצישראלי), וכחיית בר מוגנת שצידתה טעונה היתר מיוחד (תקנות להגנת חיית הבר) (כללים למתן היתר מיוחד לצידת צבי), תשמ"ו-1986; אך האם ניתן להקנות לו כשלעצמו מעמד כעותר? סבורני, שהתשובה אינה בחיוב.

אכן, בשאלה זו יש להבחין בין עצם הרעיון הראוי והנכבד של שמירה על בעלי חיים ואי פגיעה בהם, המעוגן בצורות שונות בחקיקה ובפסיקה הישראלית, לבין השאלה אם בעל החיים הוא צד ישיר לעתירה או להליך שיפוטי אחר, שהרי אין בידו – בין השאר – לייפות כוחו של מייצג או להפעיל שיקול דעת כדרך בני אנוש, או (ויימחל לי) לשלם הוצאות העלולות להיפסק אם תידחה העתירה, וכמובן איני מביע דעה בעניין לגופו.

3.

כלומר, מבחינת אישיות משפטית, נתקיימו מבחנים צורניים ותפישתיים לצורך ההכרה באישיות. הראשון, כפי שניתן לראות את פסיקת בתי המשפט הן בעניין הצבי הארצישראלי והן בנושא האלוה ההינדי, ההכרה ביישות משפטית דורשת חברה המוכנה ליתן את חותמה מבחינה תפישתית; לאחר מעבר בצורה זו, ניתן להכיר בכך או בצורה פרטנית (בדומה לצ'רטר שניתן לחברות בתחילת דרכן) או ליתן רשיון כללי (כמו דיני החברות) לייצר יישויות משפטיות יש מאין. אך עד כמה ניתן למתוח את פיקצית ההתאגדות? גם אם, לפי חוק החברות הישראלי, ניתן להגיע למצב בו פיקציה מקימה פיקציה אחרת, כאשר חברה הינה בעלת מניות בחברה אחרת, או כאשר חברה מייסדת חברת בת, הרי שהיא רשאית למנות דירקטור שהינו תאגיד (סעיף 235 לחוק החברות) אלא שאך עליה למנות יחיד מטעמה לכהן כדירקטור הפיזי (סעיף 236) ועל אותו דירקטור לעמוד בתנאי הכשירות למינוי דירקטור. כלומר, לא די בכך שכדי שתאגיד יכהן כדירקטור, על האדם הפיזי להיות ללא הרשעה פלילית באחת העבירות שמצוינות בסעיף 226 לחוק החברות וכן על החברה להיות כזו. כך שגם אנו, כבני אדם נאורים שמוכנים להכיר בפיקציה כלשהיא, עדיין דורשים כי תאגיד שמעוניין לבצע פעולה משפטית ככל אדם אחר, של מינוי כדירקטור לא להיות, לדוגמא, מורשע בשוחד (עבירה לפי סעיף 290 לחוק העונשין, אחת העבירות המצוינות בסעיף 226). אולם, אם רק האדם הגשמי, ולא התאגיד, הורשע, עדיין האדם לא יכול לכהן בשם התאגיד.

עכשיו, השאלה האם המבחן הוא צורני או תפישתי ברורה. גם המחוקק עדיין נטפל להכרה בכך שתאגיד נדרש לנציג בעל בינה טבעית לכהן כדירקטור מטעמו. ואכן, כשם שניתן למנות אפוטרופוס או נאמן לאדם פיסי אשר אינו מסוגל לדאוג לענייניו, אשר ידאג לאינטרסים שלו ויבצע פעולות משפטיות מטעמו (סעיף 33 לחוק הכשרות המשפטית והאפוטרופסות), כאשר "במילוי תפקידיו חייב האפוטרופוס לנהוג לטובת החסוי כדרך שאדם מסור היה נוהג  בנסיבות הענין", כלומר, לדאוג לטובת מי שאינו מסוגל לדאוג לעצמו, הרי שכאשר מדובר באדם משפטי (כמו חברה) אשר אינו מסוגל יותר לדאוג לענייניו, מינוי של מפרק או כונס הוא "לטובת כל הנושים וכל המשתתפים של החברה כאילו ניתן על יסוד בקשה של נושה ומשתתף כאחד" (סעיף 266 לפקודת החברות). כלומר, ניתן לראות שחובות הניהול העסקיות של מי שפועל למען פיקציה שאינה מסוגלת לדאוג לענייניה (ראו סעיפים 310-312 לפקודת החברות) שונה לגמרי ממי שדואג לאדם.

טלו מצב בו אדם ללא קוגניציה, האם הוא שונה מתאגיד? יש לדאוג לו, לשמור עליו, ולהגן על אינטרס החיים שלו. כך היה במקרה של יעל שפר (קטינה), (ע"א 506/88 יעל שפר (קטינה) נ' מדינת ישראל). באותו המקרה, אמה של יעל שפר, עתרה לבית המשפט על מנת שיורה על הפסקת הטיפול הרפואי שהותיר את בתה בחיים. למרות שסוגיית המתת החסד אינה קשורה כאן, היא מעלה שאלה מאוד חשובה, שאולי ראוי לדון בה: מתי מסתיימים החיים וכתוצאה מכך גם מתי מסתיימות זכויות האדם? כך לדוגמא, כבוד המת (ולעניין זה ראה בג"צ 98 / 6195 גולדשטיין נ' יעלון) הוא זכות מיוחדת, כיוון שהיא מאריכה את זכויות האדם הרבה לאחר שנסתיימה תקופת האישיות המשפטית. בעצם, הזכות לחיים כוללת אולי את הזכויות שאחרי החיים, אבל מי קבע בדיוק היכן ומתי מסתיימים החיים האלה?

4.
עד כה התייחסנו בסך הכל לחיים, לפרט, לתאגידים ולפיקציות מעשה אדם. אולם, כאן בדיוק מתחילה הבעיה; טכנולוגיה כבר מזמן הפכה להיות ידו הארוכה של האדם (יובל דרור, הפוליטיקה של הטכנולוגיה) ומאפשרת לנו להמשיך את הפעילות הרגילה שלנו בדרכים אחרות. כבר עכשיו קיימים כלים כמו MyLifeBits של מיקרוסופט, שמקליטה ושומרת את כל מעשה וזכרון, ובעצם יכולה להחליף את הזכרון האנושי, כמו כן, מכשירים כמו fMRI מאפשרים לכידה של מחשבות, זכורונות וחלומות. לא מדובר על כלים עתידניים, אלא על הרחבות אנושיות. עכשיו השאלה מתי שימוש מוגזם בטכנולוגיה מקטין אנושיות? בני אדם השתמשו בטכנולוגיות להחליף ולתקן פגמים גופנים החל מראשית ההיסטוריה: מקלות הליכה, קרסים, רגלים תותבות מעץ, אבל לא רק: משקפיים, לדוגמא, הן עוד אביזר שבני האדם משתמשים בו על מנת לשפר את ראייתם; ובעצם, לא רק משקפיים: כך גם המשקפת. אם פעם הברירה הטבעית נתנה לאדם את היכולת לראות עד מרחק מסוים, האדם שיפר את יכולתו ובאמצעות תותב מסוים הצליח להאריך את היכולת ולקנות לעצמו יתרון אבולוציוני. כך גם, אגב, הגדלת שדיים אצל נשים. אם נחזור לתזה של ריצ'ארד דוקינס שמופיעה בגן האנוכי, הרי שגם הגדלת חזה אצל נשים היא דרך לקנות יתרון אבולוציוני.

אבל לא רק הגדלת חזה; האם סטרואידים גם מקנים יתרון אבולוציוני? על פניו כנראה התשובה היא כן (וראו את סרטו של כריס בל, Bigger, Stronger, Faster) ולכן השאלה: אם סטרואידים (והגדלת חזה) משפרים את היכולת של בני האדם, אבל אינם אנושיים, מה יקרה עם הרחבות זכרון? בספרו של ריי קורצוויל, The Signularity is Near מובאות שלל דוגמאות להרחבה של האנושיות באמצעים טכנולוגים. דוגמאות שיכולות רק להתחיל לעורר את המח, החל משימוש בתרופות ננוטכנולוגיות שיקדמו הרחבה של הזכרון, דרך החלפה של עצמות במתכות חזקות יותר ועד לשמירה של האישיות אחרי המוות. כאן בעצם מתחילה הבעיה והמסע שלנו.

אם אמרנו קודם שההגדרה של אנושיות מסתיימת במוות, וכאשר אדם מפסיק לחיות מסתיימות גם זכויותיו, מה יקרה אם נצליח להעתיק את האישיות פנימה? מה יקרה במצב בו לא רק הזכרונות יועתקו למחשב, אלא גם האופי של אותו אדם? וזאת עוד לפני שנדבר על זכויות של יישויות ששוכפלו גנטית. בעצם, אם זכויות האדם של מישהו הסתיימו לאחר המוות, אנחנו חוזרים לפרופוזיציה לפיה הזכויות תלויות בצורה; אלא שאנו כבר הכרנו בפיקציה שמבוססת על הכרה. כלומר, כאשר אנו מכירים בכך שהאישיות של אדם מסוים "ירדה" לתוך מחשב, מאותו הרגע אנו מכירים בזכויות של אותו אדם כממשיכות: הכסף שהיה שלו לפני המוות נותר שלו (הוא הרי לא מת, אלא רק הגוף שלו) והוא גם לא הפסיק לחשוב. אנו ממשיכים לנהל איתו שיחות, והוא כשיר לנהל את חייו ועסקיו.

5.
ומכאן אנחנו יכולים להגיע לבינה מלאכותית. השאלה הראשונה, כמובן, היא מהי בינה מלאכותית? למרות עשרות ויכוחים והגדרות, אני רוצה להתחיל להגדיר בינה מלאכותית בצורה מינכהאוזית: כיוון שבינה ותבונה כבר הוגדרו על ידנו, הרי שבינה מלאכותית היא מערכת טכנולוגית שמחליפה את שיקול הדעת שלנו. אם פרוטזורת, משקפים, מקדחה ופטיש הרחיבו את היכולות הפיסיות שלנו, בינה מלאכותית היא מערכת שמרחיבה את היכולת המנטלית שלנו. בינה מלאכותית, בעצם, מתחילה בהמצאות פשוטות כמו המצפן: המצפן מאפשר לנו לנווט, וככזה הוא מחליף את לנו את שיקול הדעת. המכונה ידעה יותר טוב עבור האדם היכן הצפון; לאט לאט המכונה החליפה עוד ועוד נושאים בשיקול הדעת: מדידה של זמנים, לדוגמא, על ידי שעון, היא עוד דרך. אבל לא רק; עם המצאת המחשב, עוד טיפה לפני, החלו להתפתח מכונות שנוטלות מהאדם את שיקול הדעת; מכשירים כמו הBombe שפותחה על ידי אלן טורינג, היוו את ההתחלה לבינה המלאכותית האמיתית (וראו).

בעצם, אנחנו התחלנו להפקיר את שיקול הדעת שלנו בידי מכונות לפני כחצי מאה; החל משנות הששים של המאה העשרים וסתים וגלאים החליטו עבור בני אדם מה חשוב עבורם: מתי להפעיל אורות ברחוב, כיצד להטיס מטוסים, כיצד לזהות בני אדם הנמצאים מולך, איך להגיע מנקודה א' לנקודה ב', ובאלו מניות להשקיע. עכשיו, שימושים הנוגעים למשחקי מלחמה היו קיימים עוד משנות החמישים של המאה הקודמת, ואף עדיין נמצאים בפיתוח: בכולם מודלים מתמטיים מנסים להבין או להכווין התנהגות של בני אדם כדי לכוון להתנהגות אופטימאלית; אולם, שימושים מעניינים אזרחיים צמחו בתחום.

השימושים הספרותיים, כמובן, היו תמיד מוגזמים, החל מהרצונות של אייזק אסימוב לרובטים אנושיים (אנדרואידים) והשאלות החשובות יותר של האם יש להם אתיקה; אבל בזמן שהספרות המשיכה לחקור, המדע מתפתח לכיוונים מפתיעים. בתחילה דובר על מערכת Deep Blue של IBM, אותה מערכת שנועדה לשחק שחמט עם גארי קספרוב, אבל למערכת עדיין לא היתה בינה: היה לה מערכת שיכולה לסקור הרבה מאוד אפשרויות, ולנתח סטטיסטית מה טוב עבור לנצח במשחק. הפעולה החשובה: המודעות, עדיין לא היתה קיימת. כך גם היום עם מערכות רבות אחרות: הן מאפשרות חישוביות מסובכת, הסתמכות על מיליוני משתנים ושימוש באלגוריתמיקה סבוכה כדי להגיע לתוצאות, אבל עדיין לא בינה.

6.
אז מתי בינה מתחילה? אנחנו יודעים שלכלב יש בינה, וגם לג'וק. ואם פתחתי בשאלה היכן עובר הגבול בין אנושיות, הרי שכאן דרושה לנו תשובה כלשהיא. בינה מלאכותית אינה מערכות שרק מפעילות את שיקול הדעת שלנו, אלא מחליפות את שיקול הדעת שלנו ובעלות מודעות לעצמן. אם נסתכל על בינה מלאכותית קלאסית, אז כאן בדיוק עובד מבחן טורינג, למרות שאני מכיר לא מעט אינדיבידואלים שיכשלו בו. במבחן טורינג בעצם נשאלת השאלה האם השחקן יודע האם השחקן מולו הוא אדם או מכונה. דרך המשחק היא באמצעות שאילת שאלות שרק בן אנוש יכול להבין כיצד לענות עליהן, כמו "כיצד הרגשת בפעם הראשונה שראית את הזריחה?". כלומר, גם הקוגניציה שתפס טורינג היתה מוגבלת, והוא תחם את הגבול ואת הבינה על ידי רגשות (Alan Turing, On computable numbers, with an application to the Entscheidungsproblem). אותה תחימה היא הדבר שמבדיל בין אנושיות.

עכשיו, אם נחזור ללואי אלתוסר, האם המבחן שטורינג מציב מול אלתוסר הוא שונה? כלומר, התשובה העקרונית לשאלה מתי תתקיים בינה היא פשוטה: לעולם לא, כיוון שאף אדם לא יתכנת מערכת אלקטרונית להיות בעלת אינטיליגנציה ורגשות; מערכות כאלה לא מועילות לקדמה ולא יכולות לאפשר את הרווחה שהטכנולוגיה אמורה להביא, אלא העניין יבוא דווקא מתוך רצון של המין האנושי לשמר את עצמו. אם נניח שהמדע יתקדם דיו, ישכפל וישפר את גוף האדם, אז גם קרצוויל טוען כך, אנו נהפוך את עצמנו לאנדרואידים. כאדם בעל יצר השרדות גבוה, יהיה עדיף לי להחליף את עצמותי לברזל, את מוחי לסילקט, את שרירי למנועים קטנים, ולהגיע למצב או אני אכן האדם השורד.

ככזה, הרי, איבדתי את כל האנושיות למעט האנושיות שירדה לזכרון. האם במצב כזה אני עדיין אנושי? אין ספק שאדם תיאורטי כזה מסוגל לעבור את מבחן טורינג ולקבל הכרה כבעל בינה; אבל מבחן טורינג לא יכול להיות הדרך להכרה בזכויות, הרי הסכמנו כבר שתאגידים, תינוקות ואפילו אנשים על ערש דווי לא יכולים לעבור מבחן זה.

מעבר לזה, כיום ישנם מכשירים (ובמיוחד בתחום הננו-טכנולוגיה) שמצליחים לשכפל את עצמם: מדפסת התלת-מימד של RepRap יכולה להדפיס עותקים של עצמה ולייצר מדפסות נוספות שייצרו מדפסות נוספות, מכאן ועד התפתחות הטכנולוגיה לרמה בה שבבים מסיליקון יוכלו להיות משוכפלים ומחשב יוכל לייצר עותקים של עצמו הגבול הוא דק מאוד. לפעולה הזו אולי קשה לקרוא כך, אבל מחשב שירצה לייצר עותקים של עצמו בעצם יתרבה.

אנחנו רואים את זה באורגניזמים חישוביים בעלי אינטליגנציה פחותה ונעדרי בינה: וירוסים. אחד הדברים המדהימים כשמסתכלים על הדמיון המרהיב בין וירוסים כיצורים ביולוגיים לוירוסים כיצורים ממוחשבים הוא העדר האינטיליגנציה וההתבססות הכמעט מוחלטת על אינסטינקטים. וירוס מחשב, מרגע שהותקן רוצה להפיץ את עצמו, להעתיק את עצמו, ולשתק את מנגנוני המנע במחשב. אותה התנהגות קיימת בוירוסים בעיקר על מנת לשרת מטרות זרות, לסייע למפתחים ולשפר את מצבם.

7.
אז עוד נשאר בשאלה כיצד מחשב מפתח תבונה. הרי, מבלי שהמחשב יקבל הכרה כיצור תבוני אנחנו לא יכולים לדבר על יישות משפטית. הרציונאל לכך שמחשבים יקבלו תבונה אינו שבהנתן מערכת חישובית חזקה מספיק תפותח תבונה (וראו גורדון מור, חוק מור),וגם לא שבהנתן מערכת חישובית חזקה מספיק, ודי מוטציות שמתכנתות את עצמן תפותח תבונה, כיוון שהסתברות זו גם אפשרית. כולם מכירים את המשפט שאם ינתנו למספיק קופים מספיק מכונות כתיבה ומספיק זמן אחד מהם יכתוב את שיקספיר, וובכן, איפשהוא בשנת 2003 מתכנת מסוים כתב סימולטור של הנושא, והצליח להגיע ל21 אותיות משייקספיר, אך עדיין לא הגיע לספר שלם. גם אם אנו נניח שמחשב שמסמלץ כתיבת קוד מחשב אקראית יצליח לאורך תקופת חיים לא רק להגדיל לעצמו את כח החישוביות אלא גם לכתוב קוד שיהיה בעל בינה, וידמה מח אנושי, תבוא השאלה מה הקנה לו את האנושיות.

אז השאלה כיצד תגיע הבינה המלאכותית אינה חשובה, מה שחשוב הוא היותה בלתי נמנעת. ועדיין, כשאנחנו מדברים על בינה מלאכותית חשוב להבדיל בין שני סוגים: בינה חלשה ובינה חזקה, הבינה החלשה היא כל אותן בינות שאינן קוגניציה ממשית, שלא עוברות את מבחן טורינג. הבינה החלשה מורכבת מחלקים שונים של בינות, שקיימות כבר היום (הערך בויקיפדיה די ממצה): (1) פתרון בעיות קיימות, כמו משחקי שחמט או אפילו הGuitar Heronoid שפותח בישראל; (2) הצגה של ידע, או בעצם דרישה של הכרת כללי המשחק לצורך המשחק, היכרות עם השחקנים (או המידע שיש לעבד); (3) תכנון והתחשבות בגורמים אנושים; (4) לימוד והסקה מהידע לגבי מידע חדש. כך לדוגמא, מנוע Wolfram|Alpha יכול לתת תשובה לשאלה מה היה מזג האוויר בתל-אביב בשבוע שעבר?, אבל גם מה יהיה מזג האוויר בשבוע הבא; (4) ובאיזור קרוב מאוד, דרושה גם הבנה של שפה. על מנת שבינה מלאכותית תוכל להבין מה רוצים ממנה, היא צריכה לעבד שפה; מנועים כמו וולפראם אלפא וגם מנועי חיפוש פשוטים יותר צריכים להבין מה המשתמש רוצה, ההבנה הזו, של עיבוד שפה וקשר בין מילים היא לא פשוטה כל כך. אחרי כן דרושים כישורים כמו תפישה של המציאות (בין אם על ידי קלט או ניתוח של מאפיינים), הבנה חברתית ותפישה של המציאות.

כל אחד מהמאפיינים האלה בעייתי לכשעצמו, אבל הבינה המלאכותית החזקה היא מצב שיוצר תבונה; לא רק החלפה של כל פעילות אנושית אלא גם יצירתיות, חדשנות ויכולת לפתח את עצמו.

8.
ובמקרה כזה, איך המשפט אמור להתמודד? כאן מתחילה בעצם השאלה האמיתית. אפשר לחשוב על כמה דוגמאות, הדוגמא של בן אלגרוב היא מעניינת בתור התחלה: בשביל להתקשר בהסכם צריך להיות יישות משפטית; עכשיו, במחסניהם של שני עסקים עובדים מחשבים שאחראים על המלאי. מחשב א' מתקשר למחשב ב' וכורת איתו הסכם מלא, שמכיל מחיר ועומד בכל התנאים. כל מחשב מהווה נציג של העסק; האם המחשב הוא בעל קיבולת נפשית לצורך אותה התקשרות? הפתרון הפשוט לכך הוא שהמחשב פועל במסגרת הרשאה כמו סוכן חכם (ולעניין זה ראו Utku Unver, Internet Auctions with Artificial Adaptive Agents) שמתקשר בהסכם; אותו סוכן מהווה יד ארוכה וממשיך את הפעילות העסקית הרגילה. אבל ההתקשרות בחוזה היא עניין אחד פעוט. ישנן בעיות במקרים בהם מאחורי הסוכן לא עומד אדם אמיתי שהמחשב יכול להתקשר עבורו.

הבעיה השניה היא מהתחום הנזיקי, אם קודם דיברנו על מחשב א' שמתקשר בהסכם, אז הכל פשוט וברור. אבל כאשר אנו מגיעים למצב בו מחשב א' גורם נזק למישהו, מה קורה אז? כביכול, כיוון שמחשב א' הוא רכוש של גורם מסוים, הרי שהבעלים שלו, או מי שמחשב א' פעל בשירותו אמור להיות אחראי (או כך לפחות לפי התיאורמה של קוז, Coase, Ronald H. (1960). "The Problem of Social Cost". Journal of Law and Economics 3), אבל גם לכך יש בעיה: אם מחשב א' מקבל החלטות בדיוק כמו כל יצור תבוני אחר, הרי שתורת אחריות המעביד היתה גם חלה כאן; אלא שכאן ישנה בעיה קטנה. הרציונאל לאחריות המעביד קם בלא מעט מקרים, אולם אינו גורע בדרך כלל מאחריות הפרט שמקיים את מלוא יסודות העוולה. כלומר, אם מחשב שעובד בשירות של אדם מסוים גרם נזק, הרי שהן האדם והן המחשב (אם למחשב אישיות משפטית) יהיו אחראים (ע"א 8133/03    יצחק נ' לוטם שיווק בע"מ פ"ד נט(3) 66), אלא שכאן גם יכול להווצר מצב בו המתכנת או מי שעיצב את המערכת אחראי מכח דיני הרשלנות הכללים. אם לדוגמא, מחשב א' תוכנן בצורה רשלנית כך שבעיות התעוררו בו, הרי שאי אפשר להמנע מהאחריות של המתכנת. אבל מה קורה אם אותו מתכנת הוא בלתי אנושי?

כבר הבהרנו שמחשב חכם דיו יכול לבנות מחשב אחד. עכשיו, בהנתן שאותו מחשב אוסף ידע, משפר את יכולות הלימוד, החישוביות וההצגה של המערכת, הוא כבר יוצא מתחום הנזק אותו המתכנת המקורי היה יכול לצפות, אבל לא נכנס לתחום הנזק שהמפעיל היה יכול לדעת עליו. בית המשפט העליון כבר הבהיר כי "מבחן הצפיות קובע, כי אשמו של מזיק הינו גורם מכריע – ובענייננו, גורם ממשי לנזק של הניזוק – אם המזיק, כאדם סביר, צריך היה לצפות, כי אשמו יביא לנזקו של הניזוק. על-כן, אם בהשתלשלות האירועים התערב גורם זר – בין צד שלישי ובין הניזוק עצמו כי אז יש בכך כדי להפסיק את הקשר הסיבתי-משפטי, אם התערבותו של אותו גורם זר אינה בגדר הצפיות הסבירה" (עא 358/83 שולמן נ' ציון). כלומר, מרגע שאנחנו מאבדים את הצפיות הסבירה, גם המעביד וגם היוצר לא יהיו אחראים.

אז האם אנחנו עוברים לדוקטרינה נטולת אחריות בעצם על ידי בינה מלאכותית? כשאנו מסתכלים על הסיבות להטלת אחריות בנזיקין אנו שואלים מיהו מונע הנזק היעיל או הזול ביותר. בית המשפט העליון, במקרה אחר, אמר כי "חשיפתו לאפשרות [של אדם לאחריות תאגיד -י.ק]  שישא בחבות העולה על נזקו, תשמש תמריץ לנתבע לעשות מאמץ כן ואמיתי למנוע מעשי תרמית הפוגעים בציבור המשקיעים, להפעיל אמצעי זהירות ואמצעי פיקוח קפדניים למניעת הנזק ולא להסתפק ב"תשלום מס שפתיים", ובכך תשיא את התועלת המצרפית" (עא 345/03 דן רייכרט נ' עזבון המנוח משה שמש). כלומר, בית המשפט מבהיר כי כל עוד הנזק שנגרם קטן מהתועלת שנוצרת אצל המפעיל ישנה דוקטרינה נזיקית שמאפשרת הטלת אחריות. אלא, שבמקרה זה דרושה אפשרות כי גם אם ינקוט המפעיל במאמץ כן ואמיתי, ולא סתם ב"אמצעים סבירים", הוא יוכל למנוע את הנזק.

9.
עכשיו נניח שקיבלנו את התזה שניתן להטיל אחריות על אותו מחשב, ואכן עשינו כן בפסק דין של בית משפט; הרי שאז מי ישלם על הנזק? למחשב אין זכויות סוציאליות, אין כיס משלו. אם נסתכל, בצורה כזו או אחרת, על מקרים דומים נוכל ללמוד דין אחד מדיני הנזקין של עבדים בארצות הברית. ככלל, בעלי העבדים היו חייבים בנזיקין אלא אם לא התרשלו בשמירה עליהם (וראו סקירה על דיני הנזיקין לעבדים באלבמה). ואכן, העדר הקניין באותו מקרה ככל הנראה הותיר את הניזוקים מול שוקת שבורה שהיתה צריכה להשתלם איכשהוא. בין אם על ידי המדינה (שממומנת מכיסם של כל האזרחים) או בין אם מציבור בעלי המחשבים (או בעלי העבדים), הרי היה למצוא מנגנון לפיצוי.

אכן, במקרים של נזקים בלתי צפוים ונטולי כיס עמוק המדינה נוטה לפצות נפגעי טרור ופעולות איבה (חוק התגמולים לנפגעי פעולות איבה), אלא שמכאן ועד להגדיר כל מקרה שמחשב מביא לנזק לרכוש של אחר כנזק בלתי צפוי באותה רמה של טרור, הרי שאנו בבעיה.

בעצם, השאלה כיצד פותרים בעיה כזו היא לא פשוטה; ישנם אסונות טבע רבים שאין להם כל אחראי בטבע, ובמקרה כזה אנו מבטחים את עצמנו נגדם. אנו רוכשים ביטוח נגד רעידת אדמה, נגד התפרצות הר געש או נגד הצפה. חברת הביטוח, בהיותה גוף גדול, יודע לחשב את הסיכונים וההסתברויות. אלא מה? שבמצב כזה אנו מטילים את עלות הטכנולוגיה שוב על הציבור; כלומר, ללא הכרה וללא סנקציה כנגד בינה מלאכותית על התרשלות בעבודתה, הרי שהמחשב לא יהיה מתוגמל לא להיות רשלן.

אם המחשב אכן הוא בעל בינה מלאכותית חזקה, כזו שבלתי ניתנת לאבחנה מבינה אנושית, הרי שסנקציות ותמריצים אכן משפיעים עליו; מחשב שיהא כפוף לסנקציה כמו כיבויו או ניתוקו מהחשמל, ינקוט בעצמו באמצעי הזהירות כדי למנוע נזקים; ובהנתן שהבינה המלאכותית יכולה להשתמש במערכות חישוביות של הסתברויות גבוהה יותר, הרי שהוא ימנע נזק בצורה יעילה עוד יותר.

הסכנה היחידה במקרה כזה, כמובן, היא מה יקרה אם אכן יגרם נזק. ניתוק המחשב (או אפילו אתחולו ומחיקת כל הזכרונות) יוצר נזק לבעלי המחשב; האם הם צריכים לשאת בנזק כאשר זה נגרם על ידי המחשב שלהם?

10.
ובעוד אנו יושבים ועמלים בשאלה האם מחשבים אחראים כלפי החוק, השאלה הראשונה היא האם הם כלל מבינים את החוק? כלומר, האם המושג של חוק, ככל נורמה  אחרת בכלל יכול להיות מובן על ידי מחשב (וראו Anne von der Lieth Gardner,  An Artificial Intelligence Approach to Legal Reasoning). כלומר, גבולות הפעולה של מחשב אינן מכוונות אלא על ידי קוד תוכנה, ודומה שדווקא היום החליטו גם אותם גבולות להשפיע יותר על בני האדם (Lawrence Lessig, Code is Law). לאחר שנבין כי כחלק מהתכנות של המחשבים יש צורך לבחון את מודל החוקים שלנו, ואף יכול להיות שנגיע לכך שסתירות קיימות בחוקים יועלו, או אף מודלים חדשים של שיפוט יצוצו, רק אז נוכל להבין שלמחשבים יש את רף המודעות שדרוש בכדי לקבל אחריות בפני החוק. הרי ללא מודעות (או כוונה), נעדר היסוד הנפשי מכל פעילות, וכל מה שנותר הוא רצף של תנועות (או מעשים) נטולי כל רציה.

מצב כזה, של העדר רציה, הוא גם מצב שהחוק לא מסוגל לקבל. כלומר, קיבלנו מצב מסוג זה בתאגידים, בחברות: אם חברה פושטת את הרגל, קשה מאוד ללכת אחרי בעלי המניות ואנחנו נשארים עם ידיים ריקות לא אחת; במקרה המאוד חריג שניתן ללכת אחרי בעלי המניות, צריך להראות שהמנהלים או בעלי המניות היו אלה שגם ידעו וגם עשו בפועל את העוולה (וראו ע"א 2273/02 פסל נ' חברת העובדים), החברה גם התמודדה לא רע עם תופעות טבע, ועדיין, יש משהו מצמרר בלהקים יישות משפטית שאין לה גב.

אכן, עדיין יכולים לקום מודלים מסוימים שיאפשרו את הגב הזה: יישות בעלת בינה מלאכותית תוכל לייצר לעצמה כסף על ידי השכרת משאביה הפנויים לצורך פעילות חישובית שתתגמל אחרים (כדוגמאת מערכת Seti@Home), ולהחזיק את הכסף כדי לשלם עבור נזקים שהם עשויים לגרום בעתיד. אבל האם מודל זה ראוי? זה מודל דומה מאוד לעבד העברי, שהפך לעבד כיוון שלא עלה בידו לשלם חוב (רמב"ם, משנה תורה, ספר קניין, הלכות עבדים). מודל אחר יכול להיות על ידי העברת הקניין במחשב לניזוק כדי לייצר פיצוי עבור הנזק, אלא שהעברת קניין כזו יכולה לייצר נזק לבעלי הקניין עצמו: האם אפשר להעביר את הקניין למי שניזוק ממנו, גם כאשר הבעלים לא היה הגורם לנזק (וראו לעניין זה הלכות שור נוגח).

11.
אבל עד כאן מוצגים פתרונות ישנים לבעיה חדשה; האנושות היתה מצוינת בלמצוא פתרונות ישנים לבעיות חדשות (Frank H. Easterbrook, Cyberspace and the law of the Horse). הרי תשובה ישנה לבעיה חדשה היתה קיימת: ישנם לא מעט יצורים בעלי תבונה ונטולי כישורים צורניים כלשהם שאינם זכאיים לזכויות על פי חוק: בעלי חיים (פרשת הצבי הארצישראלי לדוגמא) ואנו חיים עם בעיה זו באמצעים של שליטה, בעלי חיים גם קיימים בטבע כאשר הם נטולים בעלים ואינם מוגדרים כקניין, ולכן התפיסה הקניינית לזכויות בעלי החיים מכירה בקיומה של הבעיה; הפתרון הזה, אולם, אינו טוב לעניינה של בינה מלאכותית: מדובר ב'בעלי בינה' שיהיו שזורים בין בני האנוש באופן כמעט בלתי מובחן. צרכן א' שיבוא לרכוש חליפה מחייט לא יוכל לדעת האם אותו חייט הינו בעל בינה או אדם בשר ודם, במיוחד כאשר מדובר על מדידה אלקטרונית.

ובמה דברים חשובים? סוגיית הזהירות והחובה עליה; באם אותו חייט הינו בשר ודם, הרי שאדם יזהר פחות כאשר הוא בא במגע עמו: הוא יכול לדעת שאם יגרם נזק אותו חייט אנושי יפצה אותו על נזקיו וידאג לו. מנגד, החייט בעל הבינה לא יכול; הדבר דומה לרמת הזהירות שנוקט אדם בין כלב משוטט לכלב קשור. ולכן, הכלל הראשון, אם מאמצים תורה נזיקים, הוא שבעל בינה יזהיר עצמו בטרם הוא בא במגע עם בני אדם; אותו רציונאל קיים כבר היום בתאגידים, כאשר בסופו של תאגיד מחויב להיות כתוב 'בע"מ'; הערבון המוגבל, אותה בעיה של אחריות התאגיד, מסבירה לנו שאם יגרם לנו נזק מאינטראקציה, הרי שהאחריות של התאגיד מוגבלת.

אבל האזהרה אינה אמצעי יעיל למניעת נזק; הרי אזהרה היא רק אחת הדרכים להבין את האחריות המוגבלת, ואנו צריכים לטפל בבעיה. והשאלה היא מהי הבעיה? אם הבעיה היא שאין לבינה כיס לשלם על חסריה, הרי שהפתרון יהיה להקנות לבעלי הבינה זכויות דומות לבני אנוש כגון שכר מינימום. הקניית זכויות כאלה אינן בדיוק הדרך הטובה והזולה למנוע נזק, כיוון שאמנם יווצרו כספים בקופתם של בעלי הבינה שעשויים לגרום לנזק, אבל אז החסכון הכלכלי משימוש במכונות יתאיין. כך גם אם ישולם פיצוי פחות לבעל הבינה, כלומר שכר עבדות.

מודל אחר יכול לקחת בחשבון איסור על בינה מלאכותית חזקה בכלל. כשם שבישראל ישנו את חוק איסור התערבות גנטית (וכדאי לקרוא את המחקר של מרכז מחקר ומידע של הכנסת על החוק) ניתן יהיה לחוקק חוקים שיאסרו על בינה מלאכותית חזקה שתחליף את האנושיות; כמובן, שאותם חוקים יהיו כפופים לבעיות אחרות, החקיקה מעולם לא סייעה לטכנולוגיה לעצור, אלא רק מצאה דרך לעקוף אותה.

עוד פתרון יכול שיהיה לקבוע סף מינימאלי של קוגניציה שיאפשר קבלת אישיות משפטית, שמאותו הרגע יחייב את כל הציבור. לפתרון הזה יכולה להיות השלכת חסר (לדוגמא על אנשים בעלי פיגור) או השלכת יתר (הקניית זכויות משפטיות, נניח, לקוף בעל אינטיליגנציה מסוימת) . ולכן, מבחן השפה הוא מבחן בעייתי; בעלי חיים מסוימים מסוגלים להשתמש בשפה ומסוגלים לחשוב, לבצע פעולות ואף לזכור. לכן, את האינטלקט האנושי לא ניתן לתחום על ידי מבחן, גם לא מבחן טורינג. דמיינו מצב בו קוף יעבור מבחן טורינג; האם אז יש להקנות לו זכויות משפטיות? האם אז הוא אנושי?

12.
אז מה עושים כעת? הפתרון הוא מתן זכויות כתופעה בלתי נמנעת; הכרה בפיקציה. כבר עכשיו יש לנו זעם על מכשירי חשמל, כעסים ורגשות. אהבה למוצרים מסוימים ויחסי סימביוטיקה עמם. אבל להגדיר אותם כמשהוא שאחראי לעצמו? המחשבה הזו לא זרה לנו במיוחד אם אנו עובדים ומכירים מערכות ממוחשבות.

הסיכום, אם מותר בכלל שיהיה סיכום, כיוון שזו רק ההתחלה של המבחן, הוא שבינה אינה נמדדת על ידי כלים אנושיים; אין אפשרות למדוד ולבחון את היכולת של אדם מסוים לעמוד בקריטריונים שהחברה עצמה לא יכולה להגדיר. הדיונים המשפטיים של האם משהו ראוי לזכויות או נטול זכויות נגמרו ונתחמו הרבה פעמים במבחנים צורניים ומעולם לא קיבלו ביטוי בשלילת אנושיות וזכויות אנושיות מגורם בעל מאפיינים צורניים.

גם בזוועות הגדולות ביותר, זוועות מלחמת העולם השניה, עדיין נותרה ההגדרה של צלם האנוש. הנסיון להפוך את הנאצים ללא-אנושיים רק גרמה לכך שיהיה לנו יותר קל להתמודד עם הבעיה, אבל לא לפתור אותה (האנס יונס, מושג האלהים אחרי אושוויץ). בין אם נחשוב כך או כך, הרי שהדרך היחידה בה אנו מגדירים זכויות השתנתה במאתיים השנים האחרונות מקצה לקצה, והיא ממשיכה להשתנות; בינה מלאכותית, ככל הנראה, היא רק עוד דרך אחת מתחומי הבעיות שיצוצו שם.

הייחוד של הבינה המלאכותית הוא היכולת לשכפלת את עצמה, לייצר עוד בינה ולשבור את מעגל הפיקציה. עם הייחוד הזה עוד יש לנו להתמודד.