איך לחסום סורקי AI בוורדפרס (בכנות)

כדי לעצור את GPTBot מלסרוק אתר וורדפרס, הוסיפו את השורות האלה ל-robots.txt שלכם:

User-agent: GPTBot
Disallow: /

זה כל התיקון עבור סורקים שמתנהגים יפה. אבל תהיו כנים עם עצמכם לגבי מה שבדיוק עשיתם: robots.txt הוא בקשה, לא גדר. ה-GPTBot של OpenAI מוריד את הקובץ ומציית לו. סורק שלא מכבד את התקן מוריד את אותו קובץ בדיוק ומתעלם מכל שורה בו. תחזיקו את ההבחנה הזו מול העיניים לפני שאתם משקיעים אחר צהריים שלם בכוונון של זה.

אם אתם רוצים לכסות את סורקי ה-AI המרכזיים בפעולה אחת, הטוקנים הנפוצים של ה-user-agent הם:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Bytespider
Disallow: /

GPTBot הוא סורק האימון של OpenAI, CCBot הוא Common Crawl (שהרבה מודלים מתאמנים עליו בהמשך השרשרת), ClaudeBot הוא של Anthropic, Google-Extended הוא הטוקן של גוגל לאימון AI, ו-Bytespider הוא של ByteDance. שימו לב ששניים מאלה כבר שוברים את מודל הבקשה המנומסת: גם Bytespider וגם PerplexityBot תועדו בפומבי סורקים אתרים שחסמו אותם. הכללתם עדיין עוזרת מול הבוטים הכנים; היא לא עושה כלום מול אלה שכבר משקרים לגבי מי הם.

איך וורדפרס באמת מגיש את robots.txt

כאן העריכות של רוב האנשים פשוט לא עושות כלום בשקט. אם אין קובץ robots.txt פיזי בשורש האתר שלכם, וורדפרס מייצר אחד בזמן אמת. הבקשה מטופלת על ידי do_robots() ב-wp-includes/functions.php, והפלט עובר דרך הפילטר robots_txt. תיבת הסימון “מנע ממנועי חיפוש להוסיף את האתר לאינדקס” תחת הגדרות ← קריאה מחליפה את האופציה blog_public, וזה מה שגורם לקובץ הווירטואלי הזה לפלוט Disallow: /.

אז אתם יכולים להוסיף כללי סורקי AI באופן פרוגרמטי:

add_filter( 'robots_txt', function ( $output, $public ) {
    $output .= "User-agent: GPTBot\nDisallow: /\n";
    return $output;
}, 10, 2 );

והנה המכשלה שבולעת שעות: ברגע שקיים קובץ robots.txt סטטי בשורש האתר שלכם, Apache או nginx מגישים את הקובץ הזה ישירות ווורדפרס בכלל לא רץ. הפילטר robots_txt, עורך ה-robots של Yoast/Rank Math, הגדרת הקריאה — כולם עוקפים. אם ערכתם את robots.txt בתוסף והקובץ החי מעולם לא השתנה, זו כמעט תמיד הסיבה. בדקו את https://yoursite.com/robots.txt בחלון פרטי והשוו אותו למה שאתם חושבים שהגדרתם. אם יש קובץ אמיתי על הדיסק, ערכו את הקובץ הזה; הפילטר לא רלוונטי.

לתקן את זה, לפי הסדר

ראשית, כתבו כללים נקיים. תדאגו שהתחביר ורשימת הסורקים יהיו נכונים כדי שלא תחסמו את Googlebot בטעות. מחולל robots.txt שלנו בונה עבורכם את חסימת סורקי ה-AI ומראה את הקובץ המדויק להדבקה, מה שעוקף את הבלבול בין וירטואלי לפיזי כי אתם מסיימים עם קובץ אחד סמכותי.

שנית, ודאו שזה חי. משכו את ה-URL ישירות. אל תסמכו על חלון התצוגה המקדימה של התוסף.

שלישית, אם אתם צריכים אכיפה במקום בקשה מנומסת, עלו במעלה הסטאק. robots.txt חי בשכבת האפליקציה ותלוי ברצון הטוב של הבוט. כדי באמת לסרב לחיבור, חסמו לפי user agent בשרת. ב-.htaccess:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|CCBot|ClaudeBot|Bytespider) [NC]
RewriteRule .* - [F,L]
</IfModule>

זה מחזיר 403 לכל דבר ששולח את ה-user agents האלה. מחולל ה-.htaccess שלנו יכול להרכיב את הכלל הזה. הבינו את המגבלה שלו, אבל: user agents ניתנים לזיוף בקלות, אז זה עוצר רק בוטים כנים מספיק כדי לזהות את עצמם — שהם אותם בוטים שכבר מצייתים ל-robots.txt. האופציה החזקה באמת היא CDN או WAF שחוסם לפי זהות סורק מאומתת או טווח IP. הכלל המנוהל של Cloudflare “Block AI Scrapers and Crawlers” בלחיצה אחת הוא הגרסה הכי פחות מאמצת של זה ופועל בקצה (edge), עוד לפני שהבקשה מגיעה בכלל לוורדפרס.

מה לא לעשות

אל תחסמו את Google-Extended מתוך מחשבה שזה מרחיק אתכם מ-AI Overviews. זו התפיסה השגויה שכדאי לתקן. Google-Extended הוא טוקן מוצר, לא סורק. הוא שולט רק בשאלה האם התוכן שלכם משמש לאימון וביסוס של מודלי Gemini. לפי התיעוד של גוגל עצמה, אין לו שום השפעה על האופן שבו הדפים שלכם נסרקים, נכנסים לאינדקס או מדורגים בחיפוש של גוגל. ו-AI Overviews נבנים מאינדקס החיפוש הרגיל ש-Googlebot סורק — לא מ-Google-Extended. חסימת Google-Extended לא תוציא אתכם מ-AI Overviews, והיא לא תעלה לכם ולו מיקום אחד בחיפוש. הדרך היחידה להישאר מחוץ ל-AI Overviews היא לחסום את Googlebot או להגדיר noindex לדף, מה שגם מוחק אתכם לחלוטין מהחיפוש. זו כמעט אף פעם לא עסקה שאתם רוצים.

אל תתייחסו ל-robots.txt כאל אמצעי אבטחה. הוא ציבורי ומייעץ בלבד. רישום של /wp-admin/ או נתיב פרטי בו רק מפרסם מפה של איפה לחפש. הגנו על נקודות קצה אמיתיות עם אימות, לא עם שורת disallow.

אל תסתמכו על תגי meta מסוג noai / noimageai. הם הוצעו, לא תוקננו, ורק קומץ פלטפורמות מכבדות אותם. הם לא הגנה כללית.

אל תניחו שתוסף “חסימת AI” עשה יותר מאשר לכתוב robots.txt. רובם כותבים את אותן שורות שהייתם יכולים לכתוב ביד ויורשים את אותה מגבלה. קראו מה התוסף באמת שינה לפני שאתם סומכים עליו.

עדיין תקועים?

אם העריכות שלכם לא מופיעות, התשובה כמעט תמיד היא robots.txt פיזי תועה בשורש האתר שדורס את הווירטואלי של וורדפרס — משכו את ה-URL ישירות ובדקו. אם הבוטים הצייתנים נעלמו אבל הסורקים ממשיכים לתקוף אתכם, הגעתם לתקרה של מה ש-robots.txt יכול לעשות, והמהלך הבא הוא כלל WAF או CDN שחוסם לפי זהות מאומתת ולא על ידי בקשה יפה.