שימוש הוגן והסרה מגוגל: האם בכלל יש מקום לrobots.txt?
רופרט מרדוק, איל תקשורת מסורתית, יצא בחודשים האחרונים למלחמת חורמה נגד אתרי אינטרנט. הסיבה? הירידה בהכנסות המדיה המסורתית שבבעלות מרדוק וחבריו מביאה אותו למסקנה כי אתרי אינטרנט אחרים צריכים לשלם על החדשות שמיוצרות על ידי תאגידו. אולם, השמועה האחרונה כאילו מרדוק עשה יד אחת עם מיקרוסופט וקיבל כסף על מנת להסיר את אתריו ממנוע החיפוש גוגל היא מופרכת ומצחיקה.
בעוד שפרשנים מצביעים שהנזק העיקרי יגרם למרדוק ולא לגוגל אני חושב על כיוון אחר: גם אם נניח שמרדוק יבקש מגוגל את הסרת אתרו, האם גוגל בכלל חייבים? גוגל מחזיקה אינדקס אוטומאטי שמיועד לאגור את כל המידע בעולם ולאפשר לחפש. עצם האינדוקס אינו מהווה הפרת זכויות יוצרים של מרדוק (שכן אין תוכן חלופי) ולא פוגע בערך הכלכלי של מרדוק. בעצם, כל המודל העסקי של מנועי החיפוש מבוסס על השימוש ההוגן, אותו חריג לזכויות יוצרים (ויש שיאמרו זכות לכשעצמה, בש"א 11646/08 פרמייר ליג נ' פלוני) שמאפשר את התקדמות הטכנולוגיה והחדשנות (וראו את הפסיקה בנושא Perfect 10 v. Google לדוגמא). גם אם מרדוק יורה על חסימת הזחלן של גוגל בקובץ robots.txt, עדיין לגוגל, מבחינת זכויות יוצרים, תהיה הזכות לאנדקס את האתר (ולשאלה של אחריות לפי חוק המחשבים האמריקאי, לפחות, ראו Snow v. DirecTV) ולשמור עותקים לצורך שימוש הוגן; מרדוק, מנגד, ישאר תקוע עם יחס לא ידידותי ויצא כמי שמתנגד לטכנולוגיה.
גוגל לא צריכה את הסכמתו של מרדוק לאנדקס אותה. אם כבר, הוא יצטרך את האינדוקס הזה לעתיד.
