llms.txt και AI crawlers: ποιους αφήνετε να διαβάσουν

Στο robots.txt των περισσότερων sites που βλέπουμε, η λέξη GPTBot δεν υπάρχει πουθενά. Στα υπόλοιπα, υπάρχει συνήθως σε μια γραμμή Disallow: / που μπήκε μετά από κάποιο άρθρο του τύπου «προστάτεψε το περιεχόμενό σου από την AI». Αυτό κλείνει την εκπαίδευση των μοντέλων. Όσοι όμως μπλοκάρουν «όλα τα AI bots» μαζικά, κλείνουν μαζί και την πόρτα από την οποία το ChatGPT, το Claude και το Perplexity βρίσκουν σελίδες για να τις προτείνουν στους χρήστες τους.

Σε αυτό το άρθρο χωρίζουμε τους AI crawlers ανάλογα με το τι κάνουν, με βάση την τεκμηρίωση των ίδιων των παρόχων όπως ήταν τον Σεπτέμβριο του 2026. Σας δίνουμε δύο robots.txt έτοιμα για copy-paste, ένα για e-shop κι ένα για site υπηρεσιών, κι ένα δείγμα llms.txt. Εξηγούμε επίσης τι κάνει και τι δεν κάνει το llms.txt, γιατί εκεί κυκλοφορούν οι περισσότερες υπερβολές.

Η σύντομη απάντηση

• Δεν υπάρχει ένας «AI crawler». Οι περισσότεροι πάροχοι έχουν χωριστό bot για εκπαίδευση, για ευρετήριο αναζήτησης και για ανάκτηση τη στιγμή που ρωτάει ο χρήστης. Κάθε ένα μπλοκάρεται ξεχωριστά.
• Αν θέλετε να εμφανίζεστε σε απαντήσεις AI, αφήστε ανοιχτά τα bots αναζήτησης και ανάκτησης: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot. Και φυσικά τον Googlebot, από τον οποίο εξαρτώνται τα AI Overviews.
• Η εκπαίδευση είναι δική σας απόφαση: GPTBot, ClaudeBot, CCBot, Amazonbot, Google-Extended. Όταν τα κλείνετε, δεν χάνετε την παρουσία σας στην αναζήτηση αυτών των εργαλείων.
• Το robots.txt είναι αίτημα, όχι τοίχος. Οι επισκέψεις που προκαλεί ένας χρήστης μπορεί να μην το τηρούν, και για πραγματικό μπλοκάρισμα χρειάζεστε firewall.
• Το llms.txt δεν το διαβάζει επίσημα κανένας μεγάλος crawler. Είναι φθηνό και ακίνδυνο, αλλά δεν είναι μοχλός για να εμφανίζεστε σε απαντήσεις AI.

Τρεις δουλειές, όχι ένας crawler

Όταν ένα AI εργαλείο απαντά για την επιχείρησή σας, η πληροφορία έχει φτάσει εκεί από έναν από τρεις δρόμους:

1. Εκπαίδευση. Κάποτε ένα bot διάβασε τη σελίδα σας και έγινε μέρος των δεδομένων με τα οποία εκπαιδεύτηκε το μοντέλο. Η γνώση αυτή παγώνει τη στιγμή της εκπαίδευσης, άρα τιμές και απόθεμα παλιώνουν γρήγορα.
2. Ευρετήριο αναζήτησης. Ένα bot χτίζει κατάλογο σελίδων, όπως κάνει ο Googlebot, ώστε το εργαλείο να βρίσκει και να παραθέτει πηγές όταν ψάχνει στο web.
3. Ανάκτηση κατά την ερώτηση. Ο χρήστης ρωτάει κάτι, το εργαλείο ανοίγει τη σελίδα σας εκείνη τη στιγμή και απαντά με φρέσκια πληροφορία, συνήθως με σύνδεσμο.

Οι δρόμοι 2 και 3 φέρνουν αναφορές και επισκέψεις. Ο δρόμος 1 κάνει το μοντέλο να σας «ξέρει», αλλά με καθυστέρηση και χωρίς σύνδεσμο. Αυτή είναι η διάκριση που εξηγήσαμε στο άρθρο για το τι είναι το GEO, μεταφρασμένη σε γραμμές του robots.txt.

Ποιος crawler κάνει τι

Από τις επίσημες σελίδες των OpenAI, Anthropic, Perplexity, Google, Common Crawl και Amazon:

User-agent	Πάροχος	Δουλειά	Τηρεί robots.txt;	Αν το μπλοκάρετε
GPTBot	OpenAI	Εκπαίδευση	Ναι	Το περιεχόμενό σας δεν χρησιμοποιείται για εκπαίδευση μοντέλων
OAI-SearchBot	OpenAI	Ευρετήριο αναζήτησης	Ναι	Δεν εμφανίζεστε στις απαντήσεις αναζήτησης του ChatGPT
ChatGPT-User	OpenAI	Ανάκτηση κατά την ερώτηση	«Μπορεί να μην ισχύει»	Ο κανόνας μπορεί να αγνοηθεί, γιατί την επίσκεψη τη ζήτησε χρήστης
ClaudeBot	Anthropic	Εκπαίδευση	Ναι, και Crawl-delay	Το μελλοντικό περιεχόμενο εξαιρείται από την εκπαίδευση
Claude-SearchBot	Anthropic	Ευρετήριο αναζήτησης	Ναι, και Crawl-delay	Δεν μπαίνετε στο ευρετήριο αναζήτησης του Claude
Claude-User	Anthropic	Ανάκτηση κατά την ερώτηση	Ναι, και Crawl-delay	Το Claude δεν ανοίγει τη σελίδα σας όταν ρωτάει χρήστης
PerplexityBot	Perplexity	Ευρετήριο αναζήτησης (όχι εκπαίδευση)	Ναι	Δεν εμφανίζεστε ως πηγή στο Perplexity
Perplexity-User	Perplexity	Ανάκτηση κατά την ερώτηση	Γενικά όχι	Ο κανόνας αγνοείται, γιατί την επίσκεψη τη ζήτησε χρήστης
Google-Extended	Google	Εκπαίδευση και grounding του Gemini	Ναι (δεν είναι ξεχωριστό bot, είναι κανόνας για τον Googlebot)	Βγαίνετε από την εκπαίδευση και το grounding του Gemini. Το Google Search δεν επηρεάζεται
CCBot	Common Crawl	Ανοιχτό αρχείο του web, που χρησιμοποιείται ευρέως ως υλικό εκπαίδευσης	Ναι	Δεν μπαίνετε στα νέα αρχεία του Common Crawl
Amazonbot	Amazon	Βελτίωση υπηρεσιών, πιθανή εκπαίδευση μοντέλων	Ναι, όχι Crawl-delay	Το περιεχόμενό σας δεν χρησιμοποιείται για εκπαίδευση των μοντέλων της Amazon
Bytespider	ByteDance	Δεν υπάρχει προσβάσιμη επίσημη τεκμηρίωση	Άγνωστο	Δεν μπορείτε να το επαληθεύσετε

Δύο σημεία που μπερδεύουν τους περισσότερους. Πρώτο, η Google γράφει ότι η παρουσία στα AI Overviews και στο AI Mode ελέγχεται με τα γνωστά εργαλεία του Search (noindex, nosnippet, max-snippet) και όχι με το Google-Extended. Δεύτερο, η Amazon έχει ξεχωριστά bots για αναζήτηση και για ερωτήσεις χρηστών (Amzn-SearchBot, Amzn-User), που δεν χρησιμοποιούνται για εκπαίδευση.

Τι σημαίνει «μπλοκάρω» στην πράξη

Πριν αντιγράψετε οποιοδήποτε snippet, κρατήστε τέσσερα πράγματα:

• Το μπλοκάρισμα δεν είναι αναδρομικό. Κλείνοντας τώρα το GPTBot, δεν βγάζετε από τα μοντέλα όσα διάβασε ήδη. Ισχύει για ό,τι θα ανιχνευτεί από εδώ και πέρα.
• Οι επισκέψεις που ζητούν χρήστες είναι γκρίζα ζώνη. Η OpenAI και η Perplexity λένε ανοιχτά ότι τα ChatGPT-User και Perplexity-User μπορεί να μην ακολουθούν το robots.txt, γιατί την επίσκεψη τη ζήτησε άνθρωπος.
• Το robots.txt είναι αίτημα, όχι μηχανισμός ασφαλείας. Όποιος δεν θέλει να το τηρήσει, δεν το τηρεί. Για πραγματικό φράγμα χρειάζεστε κανόνα στο firewall ή στο CDN σας. Οι περισσότεροι πάροχοι CDN έχουν πλέον έτοιμη επιλογή για AI bots.
• Ένα bot με δική του ενότητα αγνοεί την ενότητα User-agent: *. Αυτός είναι ο κανόνας του πρότυπου RFC 9309: το bot ακολουθεί μόνο την πιο συγκεκριμένη ενότητα που του ταιριάζει. Αν προσθέσετε «User-agent: OAI-SearchBot / Allow: /» για να τον «καλωσορίσετε», χάνετε για αυτόν όλα τα Disallow του καλαθιού, του checkout και των φίλτρων. Γι’ αυτό στα snippets παρακάτω δεν ονομάζουμε τα bots που θέλουμε ανοιχτά. Τα αφήνουμε να ακολουθούν το *.

Το τελευταίο σημείο δεν είναι θεωρητικό. Το e-shop όπου τρέχει ο δικός μας chatbot έχει το default robots.txt του PrestaShop: 96 γραμμές Disallow κάτω από ένα User-agent: *, και καμία αναφορά σε AI bot. Αρκεί μια ενότητα για ένα συγκεκριμένο bot για να σβήσουν και οι 96 γραμμές για εκείνο το bot.

robots.txt για e-shop

Η λογική: ανοιχτή πρόσβαση για αναζήτηση και ανάκτηση, ώστε τα AI εργαλεία να βλέπουν τρέχουσες τιμές και διαθεσιμότητα. Κλειστή για τα bots που κάνουν μόνο εκπαίδευση. Σε ένα κατάστημα η εκπαίδευση προσφέρει λίγα: οι τιμές στο μοντέλο παλιώνουν, και οι χιλιάδες URLs προϊόντων και φίλτρων προσθέτουν φόρτο στον server χωρίς να φέρνουν επισκέψεις.

# robots.txt — e-shop
# Τα bots αναζήτησης και ανάκτησης (Googlebot, OAI-SearchBot,
# ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot,
# Amzn-SearchBot) ΔΕΝ αναφέρονται ονομαστικά, για να ακολουθούν
# τους κανόνες του "User-agent: *".

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /my-account
Disallow: /search
Disallow: /*?order=
Disallow: /*?q=

# Bots μόνο για εκπαίδευση: δεν φέρνουν επισκέψεις σε κατάστημα
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Amazonbot
User-agent: Bytespider
Disallow: /

Sitemap: https://www.example.com.cy/sitemap.xml

Προσαρμόστε τα paths στην πλατφόρμα σας. Σε PrestaShop και WooCommerce κρατήστε τους κανόνες που υπάρχουν ήδη κάτω από το * και προσθέστε μόνο το δεύτερο block. Το Google-Extended το αφήσαμε ανοιχτό επίτηδες, γιατί ελέγχει και το grounding των απαντήσεων του Gemini, όχι μόνο την εκπαίδευση. Αν προτιμάτε το κατάστημά σας να είναι γνωστό και στα ίδια τα μοντέλα, σβήστε τις γραμμές GPTBot και ClaudeBot.

robots.txt για site υπηρεσιών

Για μια εταιρεία υπηρεσιών, ένα γραφείο ή ένα τοπικό επάγγελμα, η εξίσωση αντιστρέφεται. Το περιεχόμενο δεν αλλάζει κάθε μέρα, και το να σας «ξέρει» ένα μοντέλο όταν κάποιος ρωτήσει «ποιος κάνει Χ στη Λεμεσό» είναι υπέρ σας. Εδώ αφήνουμε ανοιχτά σχεδόν όλα:

# robots.txt — site υπηρεσιών
User-agent: *
Allow: /
Disallow: /admin

# Χωρίς προσβάσιμη επίσημη τεκμηρίωση από τον πάροχο
User-agent: Bytespider
Disallow: /

Sitemap: https://www.example.com.cy/sitemap-index.xml

Αυτή είναι και η ρύθμιση του pythia.works: Allow: / για όλους και το sitemap. Το robots.txt μας το παράγει ο κώδικας τη στιγμή του build, από την ίδια ρύθμιση που βάζει το site σε κατάσταση «Coming Soon». Το ίδιο ισχύει για το sitemap και το llms.txt. Όσο το site είναι υπό κατασκευή, το robots.txt κλείνει τα πάντα (Disallow: /) και το llms.txt έχει μόνο τον τίτλο. Μόλις ανοίξει το site, ανοίγουν και τα τρία. Έτσι δεν μπορεί να ξεχαστεί ανοιχτό ένα μισοτελειωμένο site, ή κλειστό ένα έτοιμο. Ένα σημείωμα: το robots.txt είναι δημόσιο αρχείο, οπότε μη βάζετε εκεί paths που θέλετε να μείνουν μυστικά.

Το llms.txt: τι είναι, ποιος το διαβάζει, αξίζει;

Το llms.txt το πρότεινε ο Jeremy Howard τον Σεπτέμβριο του 2024. Είναι ένα αρχείο markdown στη ρίζα του site, με μια σύντομη περιγραφή και τους πιο χρήσιμους συνδέσμους σας. Τον Αύγουστο του 2026 βγήκε η δεύτερη έκδοση της πρότασης. Ο σκοπός του, όπως τον ορίζει η ίδια η πρόταση, είναι η χρήση τη στιγμή της ερώτησης, όχι η εκπαίδευση.

Τι ισχύει σήμερα, χωρίς υπερβολές:

• Κανένας από τους crawlers του πίνακα δεν δηλώνει στην τεκμηρίωσή του ότι διαβάζει το llms.txt άλλων sites.
• Η Google γράφει ρητά ότι για τα AI Overviews και το AI Mode δεν χρειάζονται «νέα machine-readable αρχεία, AI text files ή markup».
• Από την άλλη, το Chrome το ελέγχει. Το Lighthouse έχει πλέον κατηγορία «Agentic Browsing» με έλεγχο για llms.txt. Σημειώνει πρόβλημα μόνο αν ο server επιστρέψει σφάλμα. Αν το αρχείο απλώς λείπει, ο έλεγχος γράφει «Not Applicable», όχι αποτυχία.
• Οι ίδιοι οι πάροχοι το δημοσιεύουν για την τεκμηρίωσή τους. Η OpenAI, η Anthropic και η Perplexity έχουν όλες llms.txt στα docs τους. Το χρησιμοποιούν δηλαδή agents και εργαλεία προγραμματιστών, όχι η αναζήτηση.

Στο πρακτικό οδηγό για AI αναζητήσεις βάλαμε το llms.txt στη λίστα, και το κρατάμε εκεί: θέλει μισή ώρα, δεν κοστίζει τίποτα και δεν χαλάει τίποτα. Αλλά αν κάποιος σας το πουλήσει ως τον λόγο που θα σας προτείνει το ChatGPT, δεν σας λέει την αλήθεια. Αυτό που μετράει εκεί είναι τα ανοιχτά bots αναζήτησης και ένα site που διαβάζεται χωρίς JavaScript.

Ένα δείγμα για μια φανταστική επιχείρηση υπηρεσιών. Όλα τα στοιχεία είναι παραδείγματα:

# Φυσικοθεραπευτήριο Παράδειγμα

> Φυσικοθεραπευτήριο στη Λεμεσό με δύο πιστοποιημένους
> φυσικοθεραπευτές. Αθλητικές κακώσεις, αποκατάσταση μετά από
> χειρουργείο και πόνος στη μέση. Ραντεβού online ή τηλεφωνικά.

- Διεύθυνση: Οδός Παραδείγματος 1, 3000 Λεμεσός
- Ωράριο: Δευτέρα–Παρασκευή 08:00–19:00
- Γλώσσες: Ελληνικά, Αγγλικά

## Υπηρεσίες

- [Αθλητικές κακώσεις](https://www.example.com.cy/athlitikes-kakoseis): αξιολόγηση και πρόγραμμα αποκατάστασης
- [Μετεγχειρητική αποκατάσταση](https://www.example.com.cy/apokatastasi): γόνατο, ώμος, ισχίο
- [Τιμές](https://www.example.com.cy/times): τιμοκατάλογος συνεδριών και πακέτων

## Επικοινωνία

- [Κλείσε ραντεβού](https://www.example.com.cy/rantevou): online κράτηση
- [Συχνές ερωτήσεις](https://www.example.com.cy/faq): ασφαλιστικά, ΓεΣΥ, ακυρώσεις

## Optional

- [Blog](https://www.example.com.cy/blog): ασκήσεις και συμβουλές

Η δομή είναι αυτή που ορίζει η πρόταση: τίτλος #, σύνοψη σε blockquote, ελεύθερο κείμενο, και ενότητες ## με λίστες συνδέσμων σε μορφή markdown. Η ενότητα ## Optional είναι το «αν έχετε χρόνο». Προσέξτε τους συνδέσμους: η πρόταση ορίζει ότι κάθε γραμμή στις λίστες είναι σύνδεσμος markdown ([κείμενο](url)), όχι σκέτο URL.

Δύο πράγματα που μάθαμε στο δικό μας llms.txt. Πρώτο, ένα χειρόγραφο llms.txt παλιώνει. Από το αρχικό μας, γραμμένο με το χέρι, έλειπαν ήδη δύο από τα πέντε άρθρα του blog. Το ίδιο παθαίνουν και οι τιμές: κάθε τιμή που γράφετε εκεί είναι ακόμα ένα σημείο που πρέπει να θυμάστε να ενημερώνετε. Γι’ αυτό είτε το κρατάτε χωρίς τιμές, με σύνδεσμο στη σελίδα τιμών όπως το δείγμα, είτε το παράγετε αυτόματα από το ίδιο περιεχόμενο με το site, όπως κάνουμε πλέον εμείς. Δεύτερο, σε δίγλωσσο site βάλτε ένα αρχείο ανά γλώσσα, στο /llms.txt και στο /en/llms.txt, και έναν σύνδεσμο από το ένα στο άλλο.

Τι να κάνετε αύριο

1. Ανοίξτε το yoursite.com/robots.txt και δείτε αν αναφέρει κάποιο AI bot. Αν όχι, όλα ακολουθούν το *, και αυτό είναι συνήθως εντάξει, απλώς όχι συνειδητή επιλογή.
2. Αν βρείτε «block all AI», ελέγξτε ότι δεν κλείσατε τα OAI-SearchBot, Claude-SearchBot και PerplexityBot χωρίς να το θέλετε.
3. Αποφασίστε για την εκπαίδευση με τη λογική του άρθρου: κατάστημα με τιμές που αλλάζουν, μάλλον κλειστή. Υπηρεσίες, μάλλον ανοιχτή.
4. Προσθέστε ένα llms.txt αν σας περισσεύει μισή ώρα, χωρίς προσδοκίες για κατάταξη.

Αν φτιάχνετε καινούργιο site, προσθέστε το robots.txt και το llms.txt στην ερώτηση «τι περιλαμβάνεται στο SEO», μία από τις πέντε που προτείνουμε στο άρθρο για το πόσο κοστίζει μια ιστοσελίδα στην Κύπρο. Είναι λίγα λεπτά δουλειά για όποιον τα ξέρει. Αυτή είναι και η λογική της δικής μας δημιουργίας ιστοσελίδων, όπου το on-page SEO είναι στάνταρ σε κάθε έργο και δεν χρεώνεται ξεχωριστά. Αν θέλετε κάποιος να κοιτάξει το υπάρχον site σας με αυτό το μάτι (robots.txt, sitemap, structured data, τι βλέπουν πραγματικά τα AI bots), αυτό κάνουμε στα SEO/GEO audits. Στείλτε μας το URL σας.