Πώς να μπλοκάρετε τα AI crawlers στο WordPress (με ειλικρίνεια)

Για να σταματήσετε το GPTBot από το να κάνει crawl έναν ιστότοπο WordPress, προσθέστε αυτές τις γραμμές στο robots.txt:

User-agent: GPTBot
Disallow: /

Αυτή είναι όλη κι όλη η λύση για τα crawlers που συμπεριφέρονται σωστά. Να είστε όμως ειλικρινείς με τον εαυτό σας για το τι μόλις κάνατε: το robots.txt είναι ένα αίτημα, όχι ένας φράχτης. Το GPTBot της OpenAI κατεβάζει το αρχείο και το σέβεται. Ένας scraper που δεν σέβεται το πρότυπο κατεβάζει το ίδιο αρχείο και αγνοεί κάθε γραμμή του. Κρατήστε αυτή τη διάκριση μπροστά σας πριν αφιερώσετε ένα ολόκληρο απόγευμα ρυθμίζοντάς το.

Αν θέλετε να καλύψετε τα κυριότερα AI crawlers με μία κίνηση, τα συνηθισμένα user-agent tokens είναι:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Bytespider
Disallow: /

Το GPTBot είναι το crawler εκπαίδευσης της OpenAI, το CCBot είναι του Common Crawl (στο οποίο εκπαιδεύονται εμμέσως πολλά μοντέλα), το ClaudeBot είναι της Anthropic, το Google-Extended είναι το token της Google για εκπαίδευση AI, και το Bytespider είναι της ByteDance. Προσέξτε ότι δύο από αυτά ήδη σπάνε το μοντέλο του ευγενικού αιτήματος: το Bytespider και το PerplexityBot έχουν και τα δύο τεκμηριωθεί δημόσια να κάνουν crawl ιστότοπους που τα είχαν αποκλείσει. Το να τα καταγράψετε βοηθάει ακόμα απέναντι στα τίμια bots· δεν κάνει τίποτα απέναντι σε αυτά που ήδη λένε ψέματα για το ποια είναι.

Πώς το WordPress σερβίρει στην πραγματικότητα το robots.txt

Εδώ είναι που οι αλλαγές των περισσότερων δεν κάνουν σιωπηλά τίποτα. Αν δεν υπάρχει φυσικό αρχείο robots.txt στο web root σας, το WordPress το δημιουργεί δυναμικά. Το αίτημα διαχειρίζεται η do_robots() στο wp-includes/functions.php, και η έξοδος περνάει μέσα από το φίλτρο robots_txt. Το checkbox “Αποθάρρυνση μηχανών αναζήτησης από την ευρετηρίαση αυτού του ιστότοπου” στις Ρυθμίσεις → Ανάγνωση αλλάζει την επιλογή blog_public, η οποία είναι αυτό που κάνει το εικονικό αρχείο να βγάζει Disallow: /.

Έτσι μπορείτε να προσθέσετε κανόνες για AI crawlers προγραμματιστικά:

add_filter( 'robots_txt', function ( $output, $public ) {
    $output .= "User-agent: GPTBot\nDisallow: /\n";
    return $output;
}, 10, 2 );

Να όμως η παγίδα που τρώει ώρες: τη στιγμή που υπάρχει ένα στατικό αρχείο robots.txt στο web root σας, ο Apache ή ο nginx σερβίρει αυτό το αρχείο απευθείας και το WordPress δεν τρέχει ποτέ. Το φίλτρο robots_txt, ο editor robots του Yoast/Rank Math, η ρύθμιση Ανάγνωσης — όλα παρακάμπτονται. Αν επεξεργαστήκατε το robots.txt σε ένα plugin και το ζωντανό αρχείο δεν άλλαξε ποτέ, αυτός είναι σχεδόν πάντα ο λόγος. Ελέγξτε το https://yoursite.com/robots.txt σε ένα ιδιωτικό παράθυρο και συγκρίνετέ το με αυτό που νομίζετε ότι ορίσατε. Αν υπάρχει πραγματικό αρχείο στον δίσκο, επεξεργαστείτε αυτό το αρχείο· το φίλτρο είναι άσχετο.

Διόρθωση, με τη σειρά

Πρώτα, γράψτε καθαρούς κανόνες. Φροντίστε τη σύνταξη και τη λίστα των crawlers να είναι σωστές ώστε να μην μπλοκάρετε κατά λάθος το Googlebot. Ο robots.txt generator μας χτίζει το μπλοκ για τα AI crawlers για εσάς και σας δείχνει το ακριβές αρχείο για επικόλληση, κάτι που παρακάμπτει τη σύγχυση εικονικού-έναντι-φυσικού επειδή καταλήγετε με ένα και μοναδικό έγκυρο αρχείο.

Δεύτερον, επιβεβαιώστε ότι είναι ζωντανό. Κατεβάστε το URL απευθείας. Μην εμπιστεύεστε το παράθυρο προεπισκόπησης του plugin.

Τρίτον, αν χρειάζεστε επιβολή αντί για ένα ευγενικό αίτημα, ανεβείτε ένα επίπεδο στο stack. Το robots.txt ζει στο επίπεδο της εφαρμογής και εξαρτάται από την καλή θέληση του bot. Για να αρνηθείτε πραγματικά μια σύνδεση, μπλοκάρετε ανά user agent στον server. Στο .htaccess:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|CCBot|ClaudeBot|Bytespider) [NC]
RewriteRule .* - [F,L]
</IfModule>

Αυτό επιστρέφει 403 σε οτιδήποτε στέλνει αυτούς τους user agents. Ο .htaccess generator μας μπορεί να συναρμολογήσει αυτόν τον κανόνα. Κατανοήστε όμως το όριό του: οι user agents παραποιούνται πανεύκολα, οπότε αυτό σταματάει μόνο τα bots που είναι αρκετά τίμια ώστε να δηλώνουν την ταυτότητά τους — που είναι τα ίδια bots που ήδη υπακούν στο robots.txt. Η πραγματικά αξιόπιστη επιλογή είναι ένα CDN ή WAF που μπλοκάρει με βάση την επαληθευμένη ταυτότητα του crawler ή το εύρος IP. Ο διαχειριζόμενος κανόνας ενός κλικ της Cloudflare “Block AI Scrapers and Crawlers” είναι η εκδοχή με τον λιγότερο κόπο και λειτουργεί στο edge, πριν το αίτημα φτάσει καν στο WordPress.

Τι να μην κάνετε

Μη μπλοκάρετε το Google-Extended νομίζοντας ότι σας κρατάει έξω από τα AI Overviews. Αυτή είναι η παρανόηση που αξίζει να διορθωθεί. Το Google-Extended είναι ένα token προϊόντος, όχι ένα crawler. Ελέγχει μόνο το αν το περιεχόμενό σας χρησιμοποιείται για την εκπαίδευση και τη θεμελίωση των μοντέλων Gemini. Σύμφωνα με την ίδια την τεκμηρίωση της Google, δεν έχει καμία επίδραση στο πώς γίνεται crawl, ευρετηρίαση ή κατάταξη των σελίδων σας στην Αναζήτηση Google. Και τα AI Overviews χτίζονται από το κανονικό ευρετήριο της Αναζήτησης που κάνει crawl το Googlebot — όχι από το Google-Extended. Το μπλοκάρισμα του Google-Extended δεν θα σας αφαιρέσει από τα AI Overviews, και δεν θα σας κοστίσει ούτε μία θέση στην Αναζήτηση. Ο μόνος τρόπος να μείνετε έξω από τα AI Overviews είναι να μπλοκάρετε το Googlebot ή να βάλετε noindex στη σελίδα, κάτι που σας διαγράφει και εντελώς από την Αναζήτηση. Αυτή σχεδόν ποτέ δεν είναι μια ανταλλαγή που θέλετε.

Μην αντιμετωπίζετε το robots.txt ως μηχανισμό ασφάλειας. Είναι δημόσιο και συμβουλευτικό. Το να καταγράψετε το /wp-admin/ ή μια ιδιωτική διαδρομή μέσα του απλώς δημοσιεύει έναν χάρτη του πού να ψάξει κανείς. Προστατέψτε τα πραγματικά endpoints με έλεγχο ταυτότητας, όχι με μια γραμμή disallow.

Μη βασίζεστε στα meta tags noai / noimageai. Προτάθηκαν, δεν τυποποιήθηκαν, και μόνο μια χούφτα πλατφόρμες τα σέβονται. Δεν αποτελούν γενική άμυνα.

Μην υποθέτετε ότι ένα plugin “block AI” έκανε κάτι παραπάνω από το να γράψει το robots.txt. Τα περισσότερα γράφουν τις ίδιες γραμμές που θα μπορούσατε να γράψετε στο χέρι και κληρονομούν τον ίδιο περιορισμό. Διαβάστε τι άλλαξε πραγματικά το plugin πριν το εμπιστευτείτε.

Ακόμα κολλημένοι;

Αν οι αλλαγές σας δεν εμφανίζονται, η απάντηση είναι σχεδόν πάντα ένα ξεχασμένο φυσικό robots.txt στο web root που παρακάμπτει το εικονικό του WordPress — κατεβάστε το URL απευθείας και ελέγξτε. Αν τα συμμορφούμενα bots έφυγαν αλλά οι scrapers συνεχίζουν να σας χτυπάνε, φτάσατε στο ταβάνι αυτού που μπορεί να κάνει το robots.txt, και η επόμενη κίνηση είναι ένας κανόνας WAF ή CDN που μπλοκάρει με βάση την επαληθευμένη ταυτότητα αντί για ευγενικό αίτημα.