שימוש הוגן והסרה מגוגל: האם בכלל יש מקום לrobots.txt?

רופרט מרדוק, איל תקשורת מסורתית, יצא בחודשים האחרונים למלחמת חורמה נגד אתרי אינטרנט. הסיבה? הירידה בהכנסות המדיה המסורתית שבבעלות מרדוק וחבריו מביאה אותו למסקנה כי אתרי אינטרנט אחרים צריכים לשלם על החדשות שמיוצרות על ידי תאגידו. אולם, השמועה האחרונה כאילו מרדוק עשה יד אחת עם מיקרוסופט וקיבל כסף על מנת להסיר את אתריו ממנוע החיפוש …