Τι σημαίνει «agent readiness»;

Το πόσο εύκολα ένα αυτοματοποιημένο σύστημα (AI crawler, answer engine, agentic browser) μπορεί να ανακαλύψει, να διαβάσει, να ερμηνεύσει και — όπου έχει νόημα — να ενεργήσει πάνω στο περιεχόμενο ή τα προϊόντα σου: πολιτική σε robots.txt, llms.txt, sitemap, structured data, server-rendered κείμενο, headers και σαφείς κανόνες.

Είναι το llms.txt επίσημο πρότυπο;

Είναι μια ευρέως υιοθετημένη σύμβαση (markdown αρχείο στο /llms.txt με τίτλο, σύνοψη και λίστες συνδέσμων), όχι επίσημο πρότυπο κάποιου οργανισμού. Λειτουργεί ως περιεχόμενο για LLM εργαλεία και ως δήλωση του τι αξίζει να διαβαστεί.

Να μπλοκάρω τα AI bots στο robots.txt;

Είναι απόφαση πολιτικής. Χρήσιμος κανόνας: επιτρέπεις search indexers και answer/fetch bots (φέρνουν αναφορές και κίνηση), αποφασίζεις χωριστά για training crawlers και dataset archivers, και πάντα επιτρέπεις τα link-preview bots, αλλιώς σπάνε τα previews στα social.

Γιατί μερικά checks θέλουν τοπικό CLI;

Ο browser δεν μπορεί να διαβάσει απαντήσεις άλλου domain χωρίς CORS, ούτε να στείλει δικό του User-Agent. Το CLI script (Node, χωρίς εξαρτήσεις) κάνει το αίτημα με διαφορετικά bot user-agents, καταγράφει status codes/headers και βγάζει JSON που επικολλάς πίσω στο εργαλείο για πλήρη αναφορά.

Τι σημαίνει «403 σε AI fetcher»;

Ότι ο server (ή το WAF/CDN) απορρίπτει αιτήματα που δηλώνονται ως AI bot. Αν συμβαίνει σε answer/fetch bots, χάνεις αναφορές από απαντήσεις AI· αν συμβαίνει σε search bots, χάνεις ευρετηρίαση. Συχνά το φτιάχνει μια εξαίρεση στο WAF ή πιο σωστή σειρά κανόνων.

Developer Tool · AI Crawlers & Agents

Agent & AI-Crawler Readiness Checker

Οι AI crawlers και οι agents δεν «βλέπουν» το site σου όπως ένας άνθρωπος: διαβάζουν robots.txt, ψάχνουν llms.txt, ερμηνεύουν structured data, μετρούν πόσο κείμενο είναι server-rendered και ελέγχουν αν οι απαντήσεις έχουν νόημα. Αυτό το εργαλείο μετρά 7 διαστάσεις ετοιμότητας, βγάζει score με findings και έτοιμες διορθώσεις και σου δίνει γεννήτριες για τα αρχεία που λείπουν.

Bot tokens44

Διαστάσεις7

Έλεγχοι69

Bot-UA testvia CLI

01.

Πηγή δεδομένων

URL σελίδας ή domain Πολιτική AI crawlers (για την αξιολόγηση)

Προαιρετικό CORS proxy prefix (π.χ. https://proxy.example.com/?url=)

Ο browser διαβάζει μόνο ό,τι επιτρέπει το CORS. Για πλήρη έλεγχο (bot user-agents, headers) χρησιμοποίησε το CLI.

Επικόλλησε ό,τι έχεις. Όσα πεδία συμπληρώσεις, τόσο πιο πλήρης η αναφορά — η ανάλυση γίνεται τοπικά.

robots.txt llms.txt (ή llms-full.txt) HTML σελίδας (view-source ή curl)

sitemap.xml Response headers (προαιρετικό, paste από curl -I)

Άνοιγμα αρχείου (αυτόματη αναγνώριση)

1. Γεννήτρια `robots.txt` ανά bot

Preset πολιτικής Sitemap URL Paths προς αποκλεισμό (ένα ανά γραμμή)

Πρόσθεσε Crawl-delay: 10 στα SEO bots

2. Γεννήτρια `llms.txt`

Όνομα site/project URL Σύνοψη (1-2 προτάσεις)

Βασικές ενότητες (μορφή: Τίτλος ενότητας | https://url — ένα ανά γραμμή) Optional (δευτερεύοντα)

3. Γεννήτρια structured data (JSON-LD)

Τύπος Όνομα / Headline URL σελίδας

Τιμή (για Product) Νόμισμα Διαθεσιμότητα

Τοπικός crawler για πλήρη έλεγχο

Ο browser δεν μπορεί να στείλει δικό του User-Agent ούτε να διαβάσει απαντήσεις άλλου domain χωρίς CORS. Αυτό το script (Node 18+, χωρίς εξαρτήσεις) ζητά τα βασικά αρχεία, δοκιμάζει την ίδια σελίδα με διαφορετικά bot user-agents (search, answer/fetch, training, social preview) και βγάζει JSON report — επικόλλησέ το πίσω στο εργαλείο για πλήρη βαθμολόγηση.

Χρήση Καθυστέρηση μεταξύ requests

02.

Αναφορά ετοιμότητας

Κάνε σάρωση ενός URL ή επικόλλησε τα αρχεία σου για να βγει η αναφορά.

—SCORE

—

Οι 7 διαστάσεις

Απόφαση ανά bot

Bot token	Ομάδα	Απόφαση	Κανόνας

Κάλυψη & συνέπεια

Findings

Πλήρες report (JSON) — για αρχείο ή CI baseline

Quick wins (με σειρά απόδοσης/κόστους)

03.

Αναφορά: ποιοι bots, τι κάνουν, τι προτείνεται

Τα tokens είναι τα User-agent ονόματα που χρησιμοποιείς στο robots.txt. Τα «answer/fetch» bots φέρνουν αναφορές από απαντήσεις AI — συνήθως αξίζει να τα αφήνεις ανοιχτά. Για training/dataset crawlers η απόφαση είναι πολιτική, όχι τεχνική.

Ομάδα	Tokens	Τι κάνουν	Σύσταση
Search	Googlebot · Bingbot · Applebot · DuckDuckBot · YandexBot · Baiduspider · PetalBot	Ευρετηρίαση για μηχανές αναζήτησης. Χωρίς αυτά δεν υπάρχεις στα αποτελέσματα.	Allow πάντα. Block = αόρατο site.
AI answer / fetch	ChatGPT-User · OAI-SearchBot · Claude-User · PerplexityBot · Perplexity-User · Google-CloudVertexBot · DuckAssistBot · MistralAI-User	Ανάκτηση σελίδας τη στιγμή της ερώτησης χρήστη, για απάντηση με παραπομπή.	Allow — είναι κανάλι αναφορών. Block = χάνεις citations.
AI training	GPTBot · ClaudeBot · Google-Extended · Applebot-Extended · CCBot · Bytespider · meta-externalagent · Amazonbot · YouBot · cohere-ai · Diffbot · Timpibot · ImagesiftBot · Omgilibot · Ai2Bot	Συλλογή δεδομένων για εκπαίδευση μοντέλων ή datasets. Δεν φέρνει άμεση κίνηση.	Πολιτική απόφαση. Αν κρατάς περιεχόμενο με αξία: block ή άδεια/συμφωνία.
Social preview	facebookexternalhit · Twitterbot · LinkedInBot · Slackbot-LinkExpanding · Discordbot · TelegramBot · WhatsApp · Pinterestbot · redditbot	Φτιάχνουν το preview όταν μοιράζεσαι έναν σύνδεσμο.	Allow — αλλιώς οι σύνδεσμοί σου εμφανίζονται γυμνοί.
SEO tools	AhrefsBot · SemrushBot · DotBot · rogerbot · Screaming Frog SEO Spider	Ανάλυση backlinks/τεχνικού SEO. Καταναλώνουν crawl budget.	Throttle (rate limit) αντί για block.

Δομή `llms.txt`

# Όνομα project

> Μία-δύο προτάσεις: τι είναι, για ποιον, τι περιέχει.

## Άρθρα
- [Τίτλος](https://example.com/arthro.html): τι καλύπτει
- [Τίτλος 2](https://example.com/arthro2.html): σύντομη σημείωση

## Εργαλεία
- [Εργαλείο](https://example.com/tool.html)

## Optional
- [Δευτερεύον υλικό](https://example.com/archive.html)

Κανόνες που μετράει ο έλεγχος: H1 στην αρχή, blockquote σύνοψη, ενότητες H2, λίστες με απόλυτα URLs, σύντομες περιγραφές μετά την άνω-κάτω τελεία, ενότητα Optional για δευτερεύοντα, χωρίς σπασμένους συνδέσμους. Το llms-full.txt είναι η εκδοχή με ολόκληρο το περιεχόμενο.

Checklist πριν πεις «είμαι έτοιμος»

☐ Επιτρέπω search + answer/fetch bots, με ρητούς κανόνες ανά token.

☐ Τα link-preview bots είναι πάντα επιτρεπτά.

☐ Έχω llms.txt με H1, σύνοψη, ενότητες και απόλυτα URLs.

☐ Το robots.txt δηλώνει το sitemap.

☐ Το sitemap έχει lastmod και μόνο 200-OK URLs.

☐ Το κύριο περιεχόμενο είναι server-rendered (όχι μόνο JS).

☐ JSON-LD με @id, ημερομηνίες και συγγραφέα.

☐ Answers-first: σύντομη απάντηση στην αρχή κάθε ενότητας.

☐ Πίνακες/λίστες/αριθμοί — τα μοντέλα τα προτιμούν.

☐ Cache-Control + ETag για φιλικά crawls.

☐ Δεν υπάρχει CAPTCHA/cookie-wall μπροστά στο περιεχόμενο.

☐ Καμία μυστική IP: το origin δεν διαρρέει.

☐ Ξεχωριστή σελίδα «AI usage policy» / όροι για bots.

☐ Για e-shop: Product/Offer με τιμή, απόθεμα, αποστολή, επιστροφές.

Γιατί να αφήσω τα answer/fetch bots; Δεν μου «παίρνουν» την κίνηση;

Το αντίθετο: όταν ένας βοηθός απαντά σε ερώτηση χρήστη, επικαλείται πηγή. Αν η σελίδα σου είναι προσβάσιμη, μπορεί να εμφανιστεί ως παραπομπή — κίνηση με υψηλή πρόθεση. Αν τη μπλοκάρεις, η απάντηση θα στηριχθεί σε άλλη πηγή και η δική σου δουλειά θα αγνοηθεί. Η εξαίρεση είναι περιεχόμενο που θέλεις να μην αναπαράγεται: εκεί βάζεις κανόνες και όρους.

Το llms.txt διαβάζεται από όλους τους AI crawlers;

Δεν υπάρχει εγγύηση: είναι σύμβαση, όχι πρότυπο με υποχρεωτική συμμόρφωση. Πρακτικά βοηθά (α) τα εργαλεία που το διαβάζουν, (β) εσένα ως χάρτη του τι αξίζει, (γ) τα δικά σου audits. Συνδύασέ το με robots.txt, sitemap και καθαρό server-rendered HTML.

Τι σημαίνει «extractability» στην πράξη;

Πόσο κείμενο υπάρχει στο αρχικό HTML vs πόσο φορτώνεται με JavaScript. Ένα site που ζωγραφίζει τα πάντα client-side μπορεί να φαίνεται κενό σε crawler που δεν εκτελεί JS ή που έχει όριο χρόνου. Το εργαλείο συγκρίνει το ορατό κείμενο με τον όγκο των scripts και τις εντολές render.

Πώς ερμηνεύω το score;

Ξεκίνα από τις διαστάσεις με τα χαμηλότερα ποσοστά: εκεί κρύβονται τα μεγαλύτερα κέρδη. Τα critical/high findings είναι προτεραιότητα, τα medium επηρεάζουν ποιότητα και 비용, τα low είναι βελτιώσεις. Οι «Quick wins» είναι ταξινομημένα με σχέση απόδοσης/κόστους.

Πρότυπα & πηγές

robots.txt — η σύμβαση αποκλεισμού και τα directives (User-agent, Allow, Disallow, Sitemap, Crawl-delay).
llms.txt — η σύμβαση markdown περιεχομένου για LLM εργαλεία (και η εκδοχή llms-full.txt).
sitemaps.org — XML sitemap: loc, lastmod, changefreq, priority.
schema.org — Organization, WebSite, Article/TechArticle, Product/Offer, FAQPage, BreadcrumbList, OfferShippingDetails, MerchantReturnPolicy.
HTTP caching — Cache-Control, ETag, Last-Modified, Retry-After και rate-limit headers για ευγενικά crawls.