TL;DR & η ταξινομία που θα χρησιμοποιήσουμε
«Bot» δεν σημαίνει «κακός». Σημαίνει αυτοματοποιημένος client. Το ίδιο τεχνικό μοτίβο (ένα πρόγραμμα που στέλνει HTTP requests χωρίς άνθρωπο μπροστά) εξυπηρετεί και τη μηχανή αναζήτησης που σε ευρετηριάζει και τον επιτιθέμενο που δοκιμάζει κωδικούς. Η διαφορά είναι στα κίνητρα, στη συναίνεση και στη συμπεριφορά — γι' αυτό η ανίχνευση δεν είναι «blocklist», είναι απόφαση πολιτικής.
Οι τρεις μεγάλες οικογένειες
- 🟢 GOODCrawlers ευρετηρίασης, assistants, monitoring, shopping/aggregator — δηλώνονται, σέβονται κανόνες, προσθέτουν αξία.
- 🟣 AIAI crawlers (εκπαίδευση) & AI fetchers (ζωντανή ανάκτηση) — νόμιμα αλλά υπό αίρεση: εσύ αποφασίζεις με robots.txt και όρους.
- 🔴 BADSpam, DDoS/botnets, scalpers, κακόβουλα scrapers, social bots — χωρίς συναίνεση, με κόστος για σένα.
Σημείωση: στην κατηγορία 🟢 χρησιμοποιούμε πραγματικά ονόματα και User-Agent tokens, γιατί τα χρειάζεσαι για allowlists, επιβεβαίωση ταυτότητας και σωστό robots.txt. Στην κατηγορία 🔴 δεν ονομάζουμε φορείς, εργαλεία ή «οικογένειες» κακόβουλου λογισμικού: περιγράφουμε μοτίβα και τεχνικές, που είναι αυτό που χρειάζεσαι για άμυνα.
Τι είναι τεχνικά ένα bot (και τα 4 επίπεδα αυτοματισμού)
Στο επίπεδο του δικτύου, ένα bot είναι ένας HTTP client. Η διαφορά από έναν browser είναι ότι λείπει ο άνθρωπος: κανείς δεν κινεί το ποντίκι, κανείς δεν περιμένει, κανείς δεν «βαριέται». Αυτό παράγει ένα πολύ συγκεκριμένο αποτύπωμα — και ταυτόχρονα εξηγεί γιατί η αυτοματοποίηση είναι τόσο παραγωγική όσο και τόσο επικίνδυνη.
Σενάρια και CLI clients: cURL-στιλ requests, χωρίς JS, σταθερό ρυθμό, χωρίς cookies. Εύκολο στην ανίχνευση, φθηνό στην εκτέλεση.
Πραγματικός browser engine χωρίς UI: εκτελεί JS, φορτώνει γραμματοσειρές, ζωγραφίζει canvas. Πλήρες κόστος CPU/RAM ανά session.
Ένα μοντέλο αποφασίζει τι θα ζητήσει: πολλαπλά βήματα, εργαλεία, προσαρμογή όταν κάτι αποτύχει. Συμπεριφέρεται σκόπιμα, όχι μηχανικά.
Χιλιάδες κόμβοι (residential proxies, παραβιασμένες συσκευές) μοιράζουν το ίδιο έργο. Κάθε IP δείχνει «αθώα», το σύνολο όχι.
Το κρίσιμο σημείο: το ίδιο L4 stack χρησιμοποιείται και για νόμιμους σκοπούς (κατανεμημένα crawls, έλεγχοι διαθεσιμότητας από πολλές γεωγραφίες). Άρα το ερώτημα δεν είναι «είναι bot;» αλλά «ποιος είναι, τι ζητά, πόσο κοστίζει και τι λέει η πολιτική μου;».
Το τεχνικό προφίλ ενός bot request
| Στοιχείο | Τι δείχνει |
|---|---|
| Γλώσσα/σενάριο | Σταθερή ακολουθία, χωρίς «θόρυβο» από UI events. |
| Χρονισμός | Ακρίβεια χιλιοστού, ίδια διαστήματα, ή εκρήξεις. |
| Διαδρομή πλοήγησης | Πηγαίνει κατευθείαν στο στόχο, αγνοεί μενού και CTA. |
| Headers | Ελλιπή, με λάθος σειρά, ή πανομοιότυπα σε χιλιάδες IP. |
| Cookies/state | Δεν κρατά session, ή το κρατά τέλεια «καθαρό». |
| Ρυθμός | Σταθερός, κλιμακούμενος, ή συγχρονισμένος με άλλους κόμβους. |
Το «bot» δεν είναι binary. Υπάρχει φάσμα: από μια αράχνη που σέβεται κάθε κανόνα μέχρι ένα παραβιασμένο οικιακό router που στέλνει 50.000 requests το δευτερόλεπτο. Η ταξινόμηση πρέπει να είναι ανά session, ανά διαδρομή, ανά σκοπό — όχι μία λίστα.
Ο κύκλος ζωής ενός bot
- Ανακάλυψη: sitemaps, links, ιστορικά, DNS, certificate transparency, κοινά μοτίβα URLs.
- Απόκτηση ταυτότητας: User-Agent, headers, TLS profile, ή απόκρυψη όλων.
- Εξόρυξη: fetch, parse, εξαγωγή δομής/τιμών/κειμένου.
- Κλιμάκωση: παράλληλα sessions, proxy rotation, κατανομή φορτίου.
- Νομιμοποίηση: πώληση, republish, arbitrage, ad fraud, ή εκβιασμός.
Πώς αναγνωρίζεται ένα bot: 12 σήματα και πόσο εύκολα πλαστογραφούνται
Κάθε σήμα έχει διαφορετικό κόστος πλαστογράφησης. Η σωστή αρχιτεκτονική συνδυάζει φθηνά σήματα για φιλτράρισμα και ακριβά για απόφαση — και κρατά το τελικό verdict σε επίπεδο συμπεριφοράς.
| # | Σήμα | Τι κοιτάς | Κόστος πλαστογράφησης |
|---|---|---|---|
| 1 | User-Agent | Το δηλωμένο string και το token του bot. | Μηδέν |
| 2 | Reverse DNS (rDNS) | PTR που να ανήκει στον φορέα του bot — και forward confirmation (FCrDNS). | Μέτριο/Υψηλό |
| 3 | Δημοσιευμένες IP ranges | Επίσημα JSON/λίστα του φορέα· έλεγχος σε κάθε deploy, όχι μία φορά. | Υψηλό |
| 4 | ASN / δίκτυο προέλευσης | Data-center ASN για crawler = φυσιολογικό· για «χρήστη» = ύποπτο. Residential proxies μοιάζουν ανθρώπινα. | Μέτριο |
| 5 | TLS fingerprint (JA3/JA4) | Παράμετροι handshake: το ίδιο αποτύπωμα από χιλιάδες IP = αυτοματισμός. | Μέτριο |
| 6 | HTTP/2 & header order | Σειρά headers, pseudo-headers, ALPN, ανίχνευση βιβλιοθηκών μεσαίου επιπέδου. | Μέτριο |
| 7 | JS & CSS εκτέλεση | Φορτώνει assets; τρέχει το challenge; επιστρέφει σωστά timings; | Χαμηλό/Μέτριο |
| 8 | Canvas / WebGL / audio | Μικροδιαφορές rendering που διαφέρουν μεταξύ πραγματικών συσκευών. | Μέτριο |
| 9 | Συμπεριφορά ποντικιού/πληκτρολογίου | Καμπύλες κίνησης, επιτάχυνση, διορθώσεις, χρόνοι σκέψης. | Υψηλό |
| 10 | Ρυθμός & μοτίβο διαδρομών | Requests/λεπτό, βάθος πλοήγησης, ποσοστό 404, επαναλήψεις. | Υψηλό |
| 11 | Συνέπεια ταυτότητας | Ίδιο fingerprint με διαφορετικά IP/UA, ή αλλαγή ταυτότητας μέσα στο session. | Υψηλό |
| 12 | Πολιτική συναίνεσης | Σέβεται robots.txt, crawl-delay, όρους χρήσης, opt-out σήματα; | Υψηλό |
Ο χρυσός κανόνας της επαλήθευσης: για ένα δηλωμένο καλό bot δεν αρκεί να πεις «το User-Agent λέει ότι είναι crawler». Κάνε reverse DNS, επιβεβαίωσε forward ότι το όνομα δείχνει πίσω στην ίδια IP, και έλεγξε την IP σε δημοσιευμένη λίστα του φορέα. Αυτά τα τρία μαζί είναι πρακτικά αδύνατο να πλαστογραφηθούν από τρίτο.
Κάθε σήμα κοστίζει latency. Βάλε τα «ακριβά» (JS challenge, behavioral) μόνο σε ευαίσθητες διαδρομές (login, checkout, API write) και άφησε το cache να αναλάβει το δημόσιο περιεχόμενο.
Το 2026 σε νούμερα: τι άλλαξε και γιατί
Τρία πράγματα συνέβησαν ταυτόχρονα μέσα σε ένα χρόνο: η αυτοματοποίηση έγινε φθηνότερη (μικρά μοντέλα και agents), πιο πειστική (πλήρη browser περιβάλλοντα, ανθρώπινη συμπεριφορά) και πιο διαδεδομένη (κάθε επιχείρηση αποκτά agents). Το αποτέλεσμα φαίνεται στα μεγέθη.
Σύνθεση κίνησης
Ενδεικτική κατανομή: άνθρωποι, νόμιμα bots, κακόβουλα bots.
AI-driven incidents / ημέρα
Εκτίναξη μπλοκαρισμένων περιστατικών που αποδίδονται σε αυτοματοποίηση με AI.
Πού στοχεύουν
Κατανομή στόχων και τύπων κακόβουλης αυτοματοποίησης.
Η νέα κατηγορία AI traffic: περίπου 85% της δηλωμένης AI κίνησης είναι crawlers που συλλέγουν δεδομένα για εκπαίδευση και 15% fetchers που ανακτούν περιεχόμενο τη στιγμή της ερώτησης. Σημαντικό εύρημα: ένα διψήφιο ποσοστό των sessions τους ενεργοποιεί κανόνες «κακόβουλου bot» και περίπου 4% των crawler requests πυροδοτεί άμυνες DDoS — δηλαδή η ίδια η συμπεριφορά τους συγχέεται με επίθεση.
Γιατί μετράει για σένα: όταν το 53% της κίνησης δεν είναι άνθρωποι, το «επισκέψεις» στις αναφορές σου δεν σημαίνει πελάτες. Οι αποφάσεις (cache, capacity, κόστος, analytics) πρέπει να παίρνονται πάνω σε διαχωρισμένα στρώματα κίνησης, αλλιώς βελτιστοποιείς για το λάθος κοινό.
Web Crawlers (Αράχνες / Spiders)
Είναι το αρχαιότερο και πιο χρήσιμο bot του διαδικτύου: ένα πρόγραμμα που ανακαλύπτει, κατεβάζει και αποθηκεύει σελίδες για να τις κάνει αναζητήσιμες. Χωρίς αυτό, το περιεχόμενό σου δεν υπάρχει για κανέναν που δεν ξέρει ήδη τη διεύθυνσή σου.
Ποιοι είναι (με τα πραγματικά τους tokens)
| Bot | Παράδειγμα User-Agent | Επιβεβαίωση ταυτότητας |
|---|---|---|
| Googlebot (Search, Image, News, Video, Storebot) | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | rDNS σε *.googlebot.com/*.google.com + FCrDNS + δημοσιευμένες λίστες IP (JSON) |
Bingbot (+ msnbot legacy, BingPreview, AdIdxBot) | Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) | rDNS σε *.search.msn.com + δημοσιευμένα ranges |
| Applebot | Mozilla/5.0 (…) AppleWebKit/605.1.15 (KHTML, like Gecko) Applebot/0.1; +http://www.apple.com/go/applebot | rDNS σε *.applebot.apple.com |
| DuckDuckBot | DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html) | rDNS σε *.duckduckgo.com |
YandexBot (+ YandexImages, YandexMobileBot) | Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) | rDNS σε *.yandex.ru / *.yandex.net + δημοσιευμένα ranges |
| Baiduspider | Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) | rDNS σε *.baidu.com / *.crawl.baidu.com |
| PetalBot (μηχανή αναζήτησης συσκευών) | Mozilla/5.0 (compatible; PetalBot; +https://webmaster.petalsearch.com/site/petalbot) | rDNS + δημοσιευμένα ranges |
| SEO crawlers: AhrefsBot, SemrushBot, DotBot, rogerbot, Screaming Frog SEO Spider | Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/) | rDNS στον φορέα + λίστες IP |
Οι εκδόσεις αλλάζουν συνεχώς — ένα string σε αυτόν τον πίνακα είναι σημείο εκκίνησης, όχι αλήθεια. Η αξιόπιστη ταυτοποίηση γίνεται πάντα με rDNS + forward confirmation + δημοσιευμένα IP ranges, τα οποία πρέπει να ανανεώνεις αυτόματα (τα ranges αλλάζουν χωρίς ανακοίνωση).
Οι «αόρατοι» crawlers που καθορίζουν πώς φαίνεται ο σύνδεσμός σου
Όταν μοιράζεσαι ένα URL σε chat ή κοινωνικό δίκτυο, ένα bot επισκέπτεται τη σελίδα εκ μέρους σου για να φτιάξει το preview. Αν το μπλοκάρεις, ο σύνδεσμος εμφανίζεται γυμνός — και χάνεις clicks.
Link-preview & social fetchers
- ·
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php) - ·
Twitterbot/1.0 - ·
LinkedInBot/1.0 - ·
Slackbot-LinkExpanding 1.0 (+https://api.slack.com/robots) - ·
Discordbot/2.0 (+https://discordapp.com) - ·
TelegramBot (like TwitterBot) - ·
WhatsApp/2.x - ·
Pinterestbot/1.0 (+http://www.pinterest.com/bot.html) - ·
redditbot/1.0
Τι πρέπει να τους επιτρέπεις
- HTML με σωστά meta για preview:
og:title,og:description,og:image(1200×630),og:type. - Πρόσβαση σε CSS/JS assets: αλλιώς οι crawlers βλέπουν «άδεια» σελίδα.
- Γρήγορη απόκριση (καλύτερα cached): τα previews έχουν αυστηρά timeouts.
- Ποτέ challenge/CAPTCHA σε αυτές τις διαδρομές: σπάει το preview σε όλα τα δίκτυα.
Πώς συνεργάζεσαι σωστά με έναν crawler
# robots.txt — παράδειγμα με στόχευση ανά bot User-agent: * Allow: / Disallow: /admin/ Disallow: /cart/ Disallow: /*?sort= Disallow: /*?filter= # Οι crawlers αναζήτησης: πλήρης πρόσβαση στο δημόσιο περιεχόμενο User-agent: Googlebot Allow: / Disallow: /admin/ # SEO crawlers: προαιρετικά throttle αντί για block User-agent: AhrefsBot Crawl-delay: 10 Sitemap: https://example.com/sitemap.xml
Το crawl-delay δεν τηρείται από όλους τους μεγάλους crawlers. Αν χρειάζεσαι πραγματικό έλεγχο ρυθμού, τον ορίζεις από την πλευρά σου (rate limiting ανά verified bot) ή από το εργαλείο webmaster του crawler.
Crawl budget: τι το καταναλώνει
- Άπειρες παράμετροι/φίλτρα που παράγουν δισεκατομμύρια URLs.
- 5xx σφάλματα και αργές απαντήσεις (>1s) που «μαθαίνουν» στον crawler να έρχεται λιγότερο.
- Duplicate περιεχόμενο χωρίς
canonical. - Καθαρό
sitemap.xmlμεlastmodκαι μόνο 200-OK URLs. - Γρήγορο, cached HTML και σταθερή απόκριση.
Το log file είναι το καλύτερο εργαλείο SEO
Τα analytics δείχνουν τι μέτρησε το JS· το log δείχνει τι πραγματικά ζήτησε κάθε bot: ποιες σελίδες, πόσο συχνά, με ποιο status code. Ο διαχωρισμός verified bots από τα υπόλοιπα σε επίπεδο log είναι το πρώτο βήμα για κάθε σοβαρή απόφαση.
Chatbots & Virtual Assistants
Εδώ κρύβονται δύο διαφορετικά πράγματα με το ίδιο όνομα: (α) οι βοηθοί που συνομιλούν με τον χρήστη και ανακτούν περιεχόμενο από τον ιστό, και (β) τα chatbots που φιλοξενείς εσύ στην ιστοσελίδα σου για υποστήριξη. Και τα δύο εμφανίζονται στα logs σου ως bots — αλλά με πολύ διαφορετικό προφίλ.
(α) Βοηθοί που σε επισκέπτονται
Όταν κάποιος ρωτά «τι λέει αυτή η σελίδα;», ο βοηθός μπορεί να στείλει μια ζωντανή ανάκτηση στη διεύθυνσή σου, τη στιγμή της ερώτησης. Δηλώνονται με ξεχωριστά tokens:
- ·
ChatGPT-User/1.0 (+https://openai.com/bot)— live fetch μετά από ερώτηση χρήστη - ·
OAI-SearchBot/1.0 (+https://openai.com/searchbot)— δείκτης αναζήτησης - ·
Claude-User/1.0 ([email protected])— live ανάκτηση - ·
PerplexityBot/1.0 (+https://perplexity.ai/perplexitybot)/Perplexity-User - ·
Google-CloudVertexBot,Amazonbot/0.1,YouBot/1.0,DuckAssistBot
Χαρακτηριστικό: έρχονται σποραδικά και στοχευμένα (μία σελίδα, όχι ολόκληρο site), συχνά από πολλές διαφορετικές IP, και δεν ακολουθούν πρόγραμμα. Αν τους μπλοκάρεις, χάνεις αναφορές και επισκεψιμότητα από απαντήσεις AI — γι' αυτό αποτελούν πολιτική απόφαση.
(β) Το chatbot που φιλοξενείς εσύ
Αρχιτεκτονική ενός site-assistant:
- Υποδοχή μηνύματος (widget, WhatsApp-style, ή API).
- Ταξινόμηση πρόθεσης & έλεγχος πολιτικής (τι επιτρέπεται να απαντήσει).
- Ανάκτηση από τη βάση γνώσης σου (RAG) — όχι «ελεύθερη» γνώση.
- Σύνθεση απάντησης με παραπομπές στα άρθρα/σελίδες σου.
- Guardrails: PII, τοξικότητα, εκτός-θέματος, απόπειρες prompt injection.
- Escalation σε άνθρωπο & καταγραφή για βελτίωση.
Τα 6 πράγματα που κάνουν τη διαφορά στην πράξη
Κόστος ανά συνομιλία
Κάθε μήνυμα κοστίζει tokens + retrieval + latency. Βάλε όρια ανά session/ημέρα και cache στις δημοφιλείς ερωτήσεις — αλλιώς ένα bot μπορεί να σου κάψει τον προϋπολογισμό.
Prompt injection
Το chatbot διαβάζει δικό σου περιεχόμενο και κείμενο χρήστη. Ξεχώρισε αυστηρά τα κανάλια, μην εκτελείς εντολές από το περιεχόμενο και περιόρισε τα εργαλεία που μπορεί να καλέσει.
Latency budget
Πάνω από ~2 δευτερόλεπτα πρώτης απάντησης, ο χρήστης φεύγει. Streaming απάντησης, προθέρμανση retrieval index, και fallback σε στατικές FAQ όταν αργεί.
Προσβασιμότητα
Ένα chatbot δεν αντικαθιστά τη σελίδα υποστήριξης: χρειάζεται ισοδύναμο HTML περιεχόμενο, σωστά labels και δυνατότητα χρήσης με πληκτρολόγιο/αναγνώστη οθόνης.
Μετρικές
Deflection rate (πόσα tickets γλιτώνεις), containment (λύθηκε χωρίς άνθρωπο), CSAT, άγνωστες ερωτήσεις → τροφοδοτούν τη βάση γνώσης σου.
Δεδομένα
Κατέγραψε τι κρατάς, για πόσο, πού πάει (μοντέλο τρίτου;) και ενημέρωσε στην πολιτική απορρήτου. Τα logs συνομιλιών είναι προσωπικά δεδομένα.
Νέο φαινόμενο 2026: «agentic browsers» — περιηγητές που εκτελούν εργασίες για λογαριασμό χρήστη (σύγκριση τιμών, συμπλήρωση φόρμας, αγορά). Αυτά τα sessions μοιάζουν με ανθρώπινα και με bots ταυτόχρονα: εκτελούν JS, έχουν fingerprints, αλλά κινούνται με σκοπιμότητα και ταχύτητα. Αποτελούν ήδη σημαντικό μερίδιο της κίνησης των agentic περιηγητών και απαιτούν ξεχωριστή πολιτική (όχι block, αλλά σαφείς κανόνες και, όπου χρειάζεται, ταυτοποίηση του agent).
Monitoring Bots
Είναι τα μόνα bots που θέλεις να σε χτυπούν κάθε λεπτό — γιατί αν σταματήσουν, σημαίνει ότι κάτι πήγε στραβά και δεν το ξέρεις. Χωρίζονται σε τρεις οικογένειες: uptime probes, synthetic transactions και performance/quality crawlers.
Uptime probes
Ένα request κάθε X δευτερόλεπτα από πολλές γεωγραφίες, με έλεγχο status code και συγκεκριμένου περιεχομένου (checksum/λέξη-κλειδί).
UptimeRobot · Pingdom · StatusCake · Better Stack · HetrixTools · Uptime Kuma · Freshping · Hyperping
Synthetic transactions
Σενάρια που προσομοιώνουν πραγματική ροή: login, αναζήτηση, προσθήκη στο καλάθι, ολοκλήρωση αγοράς — βήμα-βήμα, με assertions.
Datadog Synthetics · New Relic Synthetics · Checkly · Grafana/k6 · Site24x7
Performance & quality
Μετρούν Core Web Vitals, βάρος σελίδας, διαθεσιμότητα assets, λήξη TLS, σπασμένους συνδέσμους, accessibility.
Lighthouse CI · WebPageTest · GTmetrix · PageSpeed Insights · internal scanners
Σχεδίαση probe που δεν σε τρελαίνει
| Παράμετρος | Πρακτική σύσταση |
|---|---|
| Συχνότητα | 1 λεπτό για critical endpoints, 5 λεπτά για τα υπόλοιπα. |
| Γεωγραφίες | ≥3 περιοχές, ειδικά αν έχεις CDN — αλλιώς μετράς ένα edge. |
| Assertions | Status + λέξη-κλειδί + χρόνος, όχι μόνο «200 OK». |
| Επιβεβαίωση | 2 αποτυχίες από 2 locations πριν το alert (κόβει false positives). |
| Maintenance | Παράθυρα για deploys, αλλιώς ο συναγερμός χάνει αξία. |
| Secret paths | Ξεχωριστό health endpoint: /healthz με έλεγχο βάσης/cache. |
Η παγίδα: βάζεις bot protection, το monitoring αρχίζει να παίρνει challenges, και ξαφνικά «το site είναι κάτω» ενώ είναι μια χαρά. Allowlist τα verified monitoring bots (στατικές IP + μυστικό header/token) και έλεγξέ το μετά από κάθε αλλαγή σε WAF/CDN.
Synthetic vs Real User Monitoring
- Synthetic: σταθερό σενάριο, συγκρίσιμο σε χρόνο, βλέπει προβλήματα πριν τους χρήστες, δεν εξαρτάται από consent/JS.
- RUM: πραγματικές συσκευές και δίκτυα, αποκαλύπτει long tail προβλημάτων, αλλά θορυβώδες και δειγματοληπτικό.
- Και τα δύο: το synthetic λέει «χαλάσαμε», το RUM λέει «πόσοι το ένιωσαν».
Shopping & Aggregator Bots
Αυτά τα bots χτίζουν τη σύγκριση τιμών και τις λίστες προϊόντων που βλέπει ο αγοραστής πριν πατήσει στο κατάστημά σου. Δουλεύουν με δύο τρόπους: δομημένα feeds (ο έμπορος τα παρέχει) ή crawl των σελίδων προϊόντος.
Feed-based aggregators
Ο έμπορος δίνει αρχείο (XML/CSV/JSON) με id, gtin, title,
price, availability, shipping, link, image_link,
category. Ο aggregator το ανακτά τακτικά (π.χ. κάθε λίγες ώρες) και ενημερώνει τη λίστα.
- · Global: Google Merchant Center / Googlebot-Image surfaces · Bing Shopping (Bingbot) · PriceRunner · idealo · Kelkoo · Shopping.com · Ceneo · PriceSpy · ShopMania
- · Ελλάδα: Skroutz · BestPrice — λειτουργούν κυρίως με καταλόγους/feeds και στοχευμένα crawls
- · Affiliate δίκτυα: Awin · Tradedoubler · CJ · Impact · Admitad
Crawl-based aggregators
Ανακτούν τις σελίδες προϊόντος και εξάγουν τιμή/απόθεμα από το DOM και από schema.org markup.
Εδώ παίζει τεράστιο ρόλο το Product / Offer / AggregateRating structured data:
ό,τι δεν είναι δομημένο, το μαντεύουν — και συχνά το μαντεύουν λάθος.
"@type": "Product", "name": "…", "gtin13": "…", "offers": { "@type": "Offer", "price": "129.90", "priceCurrency": "EUR", "availability": "https://schema.org/InStock", "priceValidUntil": "2026-12-31" }
Τι κερδίζεις
- · Επισκεψιμότητα υψηλής πρόθεσης (έτοιμος αγοραστής).
- · Δωρεάν προβολή σε λίστες που ο χρήστης εμπιστεύεται.
- · Σήμα ζήτησης ανά κατηγορία/τιμή.
Τι μπορεί να πάει λάθος
- · Λάθος τιμή/απόθεμα → ακυρώσεις, κακές κριτικές.
- · Διπλότυπο περιεχόμενο: η σελίδα σου εμφανίζεται και σε aggregator.
- · «Leak» των δεδομένων σου σε ανταγωνιστές μέσω τρίτων.
- · Κακή ποιότητα feed → εξαφανίζεσαι από τη λίστα.
Καλές πρακτικές
- · Ξεχωριστό endpoint για feeds, με cache — μην το περνάς από WAF challenges.
- · Εξαίρεσε feeds/monitoring από τα analytics (φιλτράρισμα bot traffic).
- · Συχνός συγχρονισμός αποθέματος (ιδανικά λεπτά, όχι ημέρες).
- · Έλεγχος
gtin/κατηγορίας: εκεί κρίνεται η ορατότητα.
AI crawlers & AI fetchers: η τρίτη κατηγορία
Δεν είναι «καλά» ή «κακά» — είναι δηλωμένα, αναγνωρίσιμα και υπό την πολιτική σου. Η διάκριση που μετράει είναι γιατί έρχονται: για εκπαίδευση/ευρετηρίαση (crawler) ή για ζωντανή ανάκτηση απάντησης σε ερώτηση χρήστη (fetcher).
Training / dataset crawlers
- ·
GPTBot/1.2 (+https://openai.com/gptbot) - ·
ClaudeBot/1.0 (+https://www.anthropic.com/claudebot) - ·
Google-Extended(token robots.txt για χρήση σε μοντέλα) - ·
Applebot-Extended(token για training) - ·
CCBot/2.0 (https://commoncrawl.org/faq/)— ανοιχτό dataset - ·
Bytespider,meta-externalagent/1.1,Amazonbot/0.1,YouBot,cohere-ai,Diffbot/0.1,Timpibot,ImagesiftBot,Omgilibot,Ai2Bot
Συνήθως σαρώνουν όλο το site, με σεβασμό (ή μη) στο robots.txt, σε μεγάλο βάθος χρόνου.
Fetchers (live retrieval)
- ·
ChatGPT-User/1.0 (+https://openai.com/bot) - ·
OAI-SearchBot/1.0 (+https://openai.com/searchbot) - ·
Claude-User/1.0 ([email protected]) - ·
Perplexity-User,PerplexityBot/1.0 - ·
Google-CloudVertexBot,meta-externalfetcher
Χτυπούν συγκεκριμένα URLs, τη στιγμή της ερώτησης, και επηρεάζουν άμεσα την απάντηση που θα πάρει ο χρήστης.
Πολιτική σε ένα αρχείο: παράδειγμα robots.txt ανά token
# 1) Crawlers αναζήτησης: καλωσορίζουμε (φέρνουν επισκέψεις) User-agent: Googlebot Allow: / # 2) Training crawlers: επιτρέπουμε μόνο τα δημόσια άρθρα User-agent: GPTBot Allow: /files/ Disallow: /premium/ Disallow: /api/ User-agent: ClaudeBot Allow: /files/ Disallow: /premium/ User-agent: Google-Extended Disallow: / # opt-out από χρήση σε μοντέλα User-agent: Applebot-Extended Disallow: / # 3) Dataset crawlers: συνήθως εκτός, αν θέλεις έλεγχο διανομής User-agent: CCBot Disallow: / # 4) Live fetchers: κρατάμε ανοιχτό το δημόσιο περιεχόμενο # (αν τους μπλοκάρεις, χάνεις αναφορές από απαντήσεις AI) User-agent: ChatGPT-User Allow: / User-agent: PerplexityBot Allow: /files/ Sitemap: https://example.com/sitemap.xml
Επιβεβαίωση ταυτότητας
Οι μεγάλοι φορείς δημοσιεύουν JSON λίστες IP ανά bot (π.χ. gptbot.json, searchbot.json) και σελίδες επαλήθευσης με rDNS. Κατέβασέ τες σε τακτικό job και χρησιμοποίησέ τες ως allowlist.
Νομικά σήματα
Το robots.txt είναι δήλωση πολιτικής, όχι τεχνικός φραγμός. Για νομική θωράκιση χρησιμοποιούνται όροι χρήσης, ρήτρες επιφύλαξης δικαιωμάτων (TDM opt-out) και, όπου υπάρχει, άδεια/συμφωνία.
Λειτουργικό κόστος
Τα crawls σε βάθος είναι το πιο «βαρύ» κομμάτι. Βάλε rate limiting ανά verified bot και, για σελίδες χαμηλής αξίας, απάντησε με 410 Gone αντί να σερβίρεις περιεχόμενο ξανά και ξανά.
Το πιο σημαντικό εύρημα του 2026: οι AI crawlers/fetchers εμφανίζουν συμπεριφορές που μοιάζουν με επίθεση — ένα διψήφιο ποσοστό των sessions τους ενεργοποιεί κανόνες «κακόβουλου bot» και ένα μικρό αλλά μετρήσιμο ποσοστό πυροδοτεί άμυνες DDoS. Αν εφαρμόσεις επιθετικό rate limiting ή blocking, θα κόψεις μαζί και τους νόμιμους. Η λύση είναι ταυτοποίηση ανά bot και διαφορετικά όρια ανά κατηγορία — όχι ένα καθολικό «block τα bots».
Spambots
Το πιο «παλιό» και πιο υποτιμημένο πρόβλημα. Δεν ρίχνει το site — το δηλητηριάζει: γεμίζει φόρμες, σχόλια, κριτικές, λογαριασμούς, ακόμη και το index των μηχανών αναζήτησης. Και σε αντίθεση με μια επίθεση που φαίνεται, το spam δουλεύει μέσα στα κανονικά σου flows.
Comment / forum spam
Σχόλια με συνδέσμους, συχνά σε παλιά posts που δεν ελέγχει κανείς. Στόχος: link equity και referral traffic.
Form & registration spam
Αυτοματοποιημένες εγγραφές, δοκιμές φόρμας επικοινωνίας, ψεύτικα leads που πλημμυρίζουν το CRM σου.
Email harvesting
Σαρώνουν σελίδες, PDF, παλιά dumps και repos για διευθύνσεις — συχνά με μοτίβα όπως info@, sales@.
SMS / OTP pumping
Καταχωρίσεις με έγκυρα-forma νούμερα σε ακριβούς προορισμούς που πληρώνουν τον αποστολέα — ή απλώς μαζικά αιτήματα OTP που σε χρεώνουν.
SEO poisoning
Χιλιάδες σελίδες με scraped κείμενο που «κλέβουν» θέσεις, ή injected links σε ευάλωτα sites τρίτων.
AI content spam
Νέο κύμα: spam που παράγεται σε κλίμακα με μοντέλα, σε πολλές γλώσσες, δύσκολο να ξεχωρίσει από πραγματικό περιεχόμενο.
Πώς σε βρίσκουν
- Δημόσια exposed endpoints:
/api/v1/contact,/subscribe,/graphqlχωρίς έλεγχο. - Κλειδιά και URLs μέσα σε JS bundles — τα διαβάζει ένα bot σε δευτερόλεπτα.
- Sitemaps και αρχεία που δημοσιεύουν feeds, ονόματα, θέσεις εργασίας.
- Φόρμες χωρίς κανένα σήμα «άνθρωπος» — ούτε honeypot, ούτε timing, ούτε challenge.
- Παλιές διαρροές: λίστες email που κυκλοφορούν και δεν μπορείς να ανακαλέσεις.
Το οικονομικό μοντέλο (γιατί δεν σταματούν)
| Τύπος | Πηγή εσόδου | Κόστος για σένα |
|---|---|---|
| Link/SEO spam | Πώληση συνδέσμων/θέσεων | Πτώση κατάταξης, ποινές, φήμη |
| Form/lead spam | Πώληση «leads» ή affiliate | Χρόνος ομάδας, κακή ποιότητα CRM |
| SMS pumping | Μερίδιο από χρεώσεις τηλεπικοινωνιών | Άμεσο χρηματικό κόστος ανά SMS/OTP |
| Review/comment spam | Reputation manipulation | Αξιοπιστία, καθαρισμός περιεχομένου |
Χαρακτηριστικό περιστατικό: οργανισμός με OTP-based ταυτοποίηση δέχτηκε μαζικά αιτήματα κωδικών προς νούμερα εκτός βάσης πελατών και συσσώρευσε κόστος τηλεπικοινωνιών εκατοντάδων χιλιάδων μέσα σε λίγες εβδομάδες — χωρίς καμία παραβίαση δεδομένων.
Άμυνα: 10 μέτρα που δουλεύουν
DDoS Bots & Botnets
Εδώ το bot δεν κρύβεται — επιτίθεται μαζικά για να καταρρεύσει η υπηρεσία ή να εξαντληθεί ο προϋπολογισμός σου. Το 2026 τα ρεκόρ ξεπέρασαν τα 30 Tbps και οι επιθέσεις γίνονται πιο σύντομες και πιο έντονες: μετρούνται σε δευτερόλεπτα, όχι ώρες.
Κατηγορίες επίθεσης
| Κατηγορία | Τεχνική | Δυσκολία άμυνας |
|---|---|---|
| Volumetric | UDP floods, amplification/reflection (DNS, NTP, memcached, CLDAP, SSDP) | Απαιτεί χωρητικότητα |
| Protocol | SYN floods, κατακερματισμός, εξάντληση πινάκων συνδέσεων | Μέτρια |
| Application (L7) | HTTP floods σε ακριβές διαδρομές (αναζήτηση, checkout, API), slow-request attacks | Δύσκολη — μοιάζει με χρήστες |
| Carpet bombing | Πολλοί στόχοι στο ίδιο δίκτυο με χαμηλό ρυθμό ο καθένας | Δύσκολη |
| Οικονομική DoS | Σε εξορίζει σε πληρωμές egress/compute χωρίς να πέσει τίποτα | Απαιτεί σχεδιασμό κόστους |
Πώς στρατολογούνται τα «στρατιωτάκια»
- Συσκευές IoT με προεπιλεγμένα ή αδύναμα credentials.
- Οικιακοί routers/NAS/DVR που δεν ενημερώνονται ποτέ.
- Ξεχασμένοι servers και δωρεάν/δοκιμαστικοί πόροι cloud.
- Επισκέψεις σε μολυσμένες σελίδες: το «στρατιωτάκι» μπορεί να είναι ο browser ενός ανυποψίαστου χρήστη.
- Παραβιασμένα CI/CD runners και containers με υπερβολικά δικαιώματα.
- Residential proxies που «νοικιάζονται» από χρήστες εν αγνοία τους μέσω δωρεάν VPN/apps.
Η φθηνότερη άμυνα είναι το cache. Ένα cache hit ratio 90%+ σημαίνει ότι το 90% της επίθεσης «σκοτώνεται» πριν φτάσει στη βάση ή στην εφαρμογή. Μετά έρχονται, με σειρά κόστους: anycast/scrubbing, flowspec, rate limiting ανά διαδρομή, L7 challenges, fallback σελίδα, autoscaling με όριο.
Κρύψε το origin
Έλεγχος ιστορικού DNS, certificate transparency, headers email και παλιά subdomains αποκαλύπτουν την πραγματική IP. Όλη η άμυνα καταρρέει αν ο επιτιθέμενος τη βρει.
Σχέδιο, όχι πανικός
Runbook με ρόλους, thresholds, «attack mode» σελίδα, επικοινωνία με παρόχους και εκ των προτέρων συμφωνίες (SLA, ειδοποίηση, escalation). Δοκιμή με drills.
Υπολόγισε το χειρότερο
Πόσο κοστίζει 1 TB egress; Πόσο η ώρα downtime; Αν το ποσό σε τρομάζει, δεν έχεις τεχνικό πρόβλημα — έχεις σχεδιαστικό.
Scalper / Ticket Bots
Δεν κλέβουν δεδομένα — κλέβουν απόθεμα. Είναι η κατηγορία που πληγώνει πιο άμεσα τον πελάτη σου, γιατί ο άνθρωπος που ήθελε να αγοράσει βλέπει «εξαντλήθηκε» σε δευτερόλεπτα και μετά το ίδιο προϊόν σε διπλάσια τιμή αλλού.
Τεχνικές που συναντάς
- Seat spinning / denial of inventory: δέσμευση στο καλάθι με μεγάλο χρόνο λήξης, ώστε το απόθεμα να φαίνεται μηδενικό.
- Queue bypass: επαναχρησιμοποίηση tokens ουράς, παράλληλα sessions, ή απευθείας κλήση στο checkout API.
- Account farms: εκατοντάδες λογαριασμοί με διαφορετικά emails/κάρτες για να παρακάμψουν τα όρια ανά πελάτη.
- Fingerprint spoofing: κάθε session δηλώνει διαφορετική συσκευή/οθόνη/ζώνη ώρας.
- Proxy rotation: residential/mobile IPs, ώστε το rate limiting ανά IP να μην ενεργοποιείται ποτέ.
- Hybrid: bots για την απόκτηση, άνθρωποι για την ολοκλήρωση πληρωμής όταν απαιτείται επαλήθευση.
Ανίχνευση: 8 σήματα υψηλής αξίας
| Σήμα | Γιατί ξεχωρίζει |
|---|---|
| Ταχύτητα καλαθιού→πληρωμής | Άνθρωπος χρειάζεται δευτερόλεπτα· bot χιλιοστά. |
| Δείκτης «δέσμευσης χωρίς αγορά» | Πολλά holds από την ίδια συσκευή/κάρτα/διεύθυνση. |
| Επανάληψη μέσου πληρωμής | Ίδια κάρτα σε δεκάδες λογαριασμούς = farms. |
| Συνέπεια ταυτότητας | Ίδιο fingerprint, διαφορετικά «άτομα». |
| Κατανομή ωρών | Ενέργειες σε μη φυσιολογικές ώρες για το κοινό σου. |
| Λόγος προβολών/αγορών | Το bot δεν «χαζεύει»: πάει κατευθείαν στο στόχο. |
| Αποτυχίες πληρωμής | Πολλές απορρίψεις από το ίδιο δίκτυο/περιοχή. |
| Μοτίβο ουράς | Χρόνοι αναμονής που δεν ταιριάζουν με ανθρώπινη συμπεριφορά. |
Άμυνα που σέβεται τον πραγματικό πελάτη
- · Virtual waiting room με token δεσμευμένο σε ταυτότητα (όχι μόνο σε IP).
- · Όρια ανά άτομο: λογαριασμός + μέσο πληρωμής + διεύθυνση παράδοσης.
- · TTL στα καλάθια (π.χ. 10 λεπτά) και επιστροφή αποθέματος αυτόματα.
- · Τυχαίοι χρόνοι drop και λίστες/lotteries για high-demand προϊόντα.
- · Έλεγχος μετά την αγορά: ακύρωση συγκεντρωμένων παραγγελιών από farms.
- · Διαφάνεια: ενημέρωσε τους πελάτες τι κάνεις και γιατί.
Οι παγίδες
- · Αποκλειστικά CAPTCHA: το λύνουν, ενώ ενοχλεί τους πραγματικούς πελάτες.
- · Όριο μόνο ανά IP: αχρηστεύεται από proxy rotation.
- · Επιθετικό blocking σε ώρα drop: τα false positives κοστίζουν περισσότερο από το scalping.
- · Καμία μέτρηση: αν δεν μετράς bot success rate και απώλεια αποθέματος, δουλεύεις στα τυφλά.
Scraper Bots (κακόβουλα)
Δύσκολη κατηγορία, γιατί δεν υπάρχει καθαρή γραμμή: η ίδια τεχνική, με άδεια και σεβασμό στους κανόνες, είναι νόμιμη· χωρίς άδεια, με καταστρατήγηση ορίων και σε βάρος της υπηρεσίας σου, γίνεται κακόβουλη. Το κριτήριο είναι τρία πράγματα: συναίνεση, ρυθμός, αποτέλεσμα.
Τι παίρνουν
- · Τιμές & απόθεμα (ανταγωνιστική πληροφορία)
- · Κατάλογο προϊόντων/περιεχόμενο (republish)
- · Κριτικές, αξιολογήσεις, χρήσιμα σχόλια
- · Επαφές, ονόματα, θέσεις εργασίας
- · Δεδομένα από δημόσια APIs που δεν προορίζονταν για μαζική χρήση
- · Ολόκληρα datasets για εκπαίδευση, χωρίς άδεια
Τεχνικές καταστρατήγησης
- · Headless browser farms με ρεαλιστικά fingerprints
- · Residential/mobile proxies και περιστροφή ASN
- · Χαμηλός ρυθμός ανά IP, υψηλός συνολικά (distributed politeness)
- · Κλήση JSON API αντί HTML (πιο «καθαρά» δεδομένα)
- · Κατανάλωση feeds/sitemaps ως χάρτη του site
- · Αξιοποίηση CAPTCHA farms (άνθρωποι που λύνουν σε κλίμακα)
- · Incremental scraping: μόνο τα «νέα» URLs κάθε φορά
Τι σου κοστίζει
- · Compute & egress: το «δωρεάν» crawl δεν είναι δωρεάν
- · Περιθώριο: ο ανταγωνιστής ρίχνει τιμή πριν από σένα
- · SEO: το περιεχόμενό σου εμφανίζεται πρώτο σε άλλο domain
- · Μοναδικότητα δεδομένων: χάνεις το πλεονέκτημα που έχτισες
- · Ευθύνη: διαρροή προσωπικών δεδομένων αν το scraper φτάσει σε μη δημόσιο endpoint
Ανίχνευση σε επίπεδο session
| Μοτίβο | Ερμηνεία |
|---|---|
| Σειριακή απαρίθμηση IDs | Κάποιος «κατεβάζει» τη βάση σου σε σειρά. |
| Χωρίς referrer & χωρίς assets | Client που δεν ζωγραφίζει σελίδες, μόνο δεδομένα. |
| Ίδιο TLS/HTTP2 προφίλ, χιλιάδες IP | Μία υποδομή πίσω από πολλά δίκτυα. |
| Ποσοστό 404/410 πολύ χαμηλό | Χρησιμοποιεί χάρτη (sitemap/feed) αντί εξερεύνησης. |
| Ζήτηση σε μη «προβεβλημένες» διαδρομές | Πάει στα δεδομένα, όχι στη σελίδα. |
| Ρυθμός που «κυματίζεται» σκόπιμα | Αποφυγή ορίων: distributed, αργό, επίμονο. |
Άμυνα που δεν τιμωρεί τους καλούς
# Default-deny στα APIs, allowlist στα verified bots /api/* → απαιτεί token (HMAC) ή mTLS /search → 1 req / 2s ανά session, max 30 σελίδες /product/* → cache + pagination cap + «watermark» πεδία feeds/* → allowlist IP των aggregators monitoring/* → allowlist + token # Tripwires: κρυφά πεδία/εγγραφές που δεν εμφανίζονται σε καμία σελίδα # Αν εμφανιστούν αλλού → αποδεικνύεται αντιγραφή δεδομένων σου.
Μην ξεχνάς την άλλη πλευρά: κάποια scraping είναι θεμιτό (δημοσιογραφία, έρευνα, μηχανές αναζήτησης, σύγκριση τιμών με τη συναίνεσή σου). Η πολιτική σου πρέπει να χωρίζει κατηγορίες και να τεκμηριώνεται — αλλιώς θα μπλοκάρεις και κίνηση που σε ωφελεί.
Social Media Bots
Δεν χτυπούν το site σου — χτυπούν την αντίληψη. Δημιουργούν ψεύτικη δημοφιλία, στρεβλώνουν τη συζήτηση και «αγοράζουν» προσοχή που θα πήγαινε αλλού. Για μια επιχείρηση, το πιο ακριβό σύμπτωμα είναι ότι πληρώνεις διαφήμιση για να τη δει ένα bot.
Follower / reach inflation
Χιλιάδες ψεύτικοι ακόλουθοι και τεχνητές προβολές που ανεβάζουν τα νούμερα χωρίς πραγματικό κοινό.
Engagement farming
Likes, shares, σχόλια σε «pods» και ανταλλακτικούς κύκλους: κάνουν το αλγοριθμικό σύστημα να δείξει το περιεχόμενο σε αληθινούς χρήστες.
Astroturfing
Οργανωμένη «λαϊκή» υποστήριξη: εκατοντάδες λογαριασμοί που λένε το ίδιο πράγμα με διαφορετικά λόγια.
Influence operations
Συντονισμένες καμπάνιες με αφήγημα, χρονισμό και στόχευση — συχνά με ανθρώπους στο τιμόνι και bots στην εκτέλεση.
Fake reviews
Αξιολογήσεις-φάντασμα σε καταστήματα και εφαρμογές, που επηρεάζουν άμεσα την απόφαση αγοράς.
Comment/DM spam
Μαζικά μηνύματα, ψεύτικες υποστηρίξεις «λογαριασμού», phishing μέσω DM με το πρόσχημα της υποστήριξης.
Πώς τα ξεχωρίζεις (8 έλεγχοι)
- Δίκτυο, όχι μεμονωμένος λογαριασμός: ποιοι ενισχύουν ποιους, με τι σειρά και σε πόσο χρόνο.
- Χρονισμός: δημοσιεύσεις σε μη φυσιολογικές ώρες, τέλεια κατανεμημένες, ή ταυτόχρονες.
- Επαναχρησιμοποίηση κειμένου/εικόνων: ίδιο κείμενο με μικρές αλλαγές, αντίστροφη αναζήτηση εικόνας.
- Ίδιοι σύνδεσμοι/domains σε λογαριασμούς που δεν έχουν σχέση μεταξύ τους.
- Ηλικία λογαριασμών: μαζική δημιουργία σε στενό παράθυρο, ή «ξύπνημα» μετά από μήνες σιωπής.
- Αναλογίες: πολλά likes, μηδενικά σχόλια/απαντήσεις· μηδενικό ιστορικό συζήτησης.
- Γεωγραφική/γλωσσική συνέπεια: «Έλληνας» χρήστης με ζώνη ώρας και γλώσσα που δεν ταιριάζουν.
- Ανεξήγητες κορυφές: απότομη άνοδος χωρίς αντίστοιχη είδηση/καμπάνια.
Τι μπορείς να κάνεις ως brand
- · Ποτέ αγορά followers/engagement: μολύνει τα δεδομένα σου και σε εκθέτει.
- · Μέτρα ποιότητα, όχι όγκο: συνομιλίες, αποθηκεύσεις, μεταβάσεις στο site, επαναλαμβανόμενες επισκέψεις.
- · Καθάρισε τα κοινά σου: φίλτρα για ανενεργούς/ψεύτικους, ώστε τα insights να μη λένε ψέματα.
- · Έλεγξε τη διαφήμιση: αν το placement εμφανίζεται σε ύποπτα δίκτυα/σελίδες, ζήτα εξαιρέσεις.
- · Παρακολούθησε αναφορές και τεκμηρίωσε περιστατικά — χρήσιμο σε πλατφόρμες και, αν χρειαστεί, νομικά.
Το πιο ύπουλο αποτέλεσμα: τα bots δεν πείθουν πάντα απευθείας. Ανεβάζουν τεχνητά ένα περιεχόμενο, ο αλγόριθμος το δείχνει σε ανθρώπους και μετά οι άνθρωποι το διαδίδουν. Η αυτοματοποίηση λειτουργεί ως σπινθήρας, όχι ως καύσιμο.
40 δείκτες στα logs σου: τι βλέπεις, τι σημαίνει, τι κάνεις
Ο πίνακας είναι το «κλειδί μετάφρασης» του log σου. Ο κανόνας: κανένας δείκτης δεν αποφασίζει μόνος του — το verdict βγαίνει από συνδυασμό 3+ σημάτων στο ίδιο session.
| Τι βλέπεις | Πιθανή ερμηνεία | Ενέργεια |
|---|---|---|
| Ίδιο UA, χιλιάδες IP, σταθερός ρυθμός | Κατανεμημένος scraper | Rate limit ανά διαδρομή, όχι ανά IP |
| UA αλλάζει σε κάθε request | Προσπάθεια αποφυγής κανόνων | Fingerprint & συμπεριφορά, όχι UA |
| reversed hostname που δεν κάνει forward match | Ψεύτικο δηλωμένο καλό bot | Μπλοκ + καταγραφή |
Ζητά /robots.txt και μετά όλο το site | Συνειδητός crawler | Έλεγξε αν είναι verified· throttle αντί block |
Αγνοεί τελείως το robots.txt | Μη συνεργάσιμος crawler | Throttle/challenge, τεκμηρίωσε |
Μόνο HEAD ή μόνο GET σε API | Έλεγχος ύπαρξης/τιμών | Quota στα APIs, token auth |
Σειριακά IDs: /item/1001,1002,1003… | Bulk extraction | Pagination cap, τυχαία IDs, alert |
| Μηδενικά 404 σε χιλιάδες requests | Χρήση sitemap/feed ως χάρτη | Έλεγξε ποιος διαβάζει τα feeds |
Πολλά requests σε /search?q= | Data harvesting από αναζήτηση | Όριο σελίδων αποτελεσμάτων, cache |
| Ίδιο TLS fingerprint με πολλά UA | Κοινή βιβλιοθήκη αυτοματισμού | Fingerprint-based rules |
| Καμία φόρτωση CSS/JS | Δεν είναι browser | Challenge μόνο σε ευαίσθητες διαδρομές |
| Φορτώνει JS αλλά χωρίς events | Headless χωρίς ρεαλισμό | Behavioral scoring |
| Ίδια ακολουθία βημάτων ακριβώς | Σενάριο (scripted flow) | Τυχαιοποίηση ροής, έλεγχοι συνέπειας |
| Χρόνοι ακριβώς ίδιοι (π.χ. 1000 ms) | Loop χωρίς jitter | Timing-based detection |
| Εκρήξεις 10k req/min από λίγες IP | Flood / L7 DDoS | Edge rate limit, challenge, autoscale cap |
| Χιλιάδες IP με 1-2 requests η καθεμία | Κατανεμημένη επίθεση | Συνολικά όρια ανά διαδρομή, όχι ανά IP |
| Κίνηση μόνο σε «ακριβά» endpoints | Στόχευση κόστους (economic DoS) | Cache, quota, fallback απάντηση |
Ζητήματα σε /graphql με βαριά queries | Κατάχρηση API | Query cost limit, persisted queries |
| Εγγραφές με emails σε disposable domains | Spam / account farms | Blocklist domains, verification |
| Πολλά OTP requests σε λίγα λεπτά | SMS pumping | Όρια ανά αριθμό/χώρα, alerting |
| Φόρμες με honeypot πεδίο συμπληρωμένο | Αυτόματη υποβολή | Απόρριψη + καταγραφή |
| Υποβολή σε < 1 δευτερόλεπτο | Bot submission | Timing check, challenge |
| Πολλά comments με links σε παλιά posts | SEO spam | Moderation, nofollow, cleanup |
| Referrer από ύποπτα domains | Referrer spam | Φιλτράρισμα analytics |
| IP από γνωστά hosting ranges ως «χρήστης» | Αυτοματισμός | ASN-based scoring |
| Residential IPs με πολλά sessions | Proxy pool | Συμπεριφορικά, όχι IP-only rules |
| Συνέπεια: ίδιο cookie/κεφάλαιο σε πολλά IP | Μία οντότητα | Identity stitching |
| Γεωγραφία που αλλάζει μέσα σε ένα session | Proxy rotation | Require consistency checks |
| Χρήση HTTP/1.1 σε σύγχρονο site | Απλή βιβλιοθήκη | Αδύναμο σήμα: μόνο σε συνδυασμό |
| Header order διαφορετική από browsers | Μη-browser client | Fingerprint βιβλιοθήκης |
Λείπει Accept-Language ή είναι παράξενο | Αυτοματισμός | Scoring |
| Πολύ υψηλός ρυθμός σε CDN-cached πόρους | Cache-busting | Ignore query strings, edge caching |
| Σταθερά cache MISS από ίδιο client | Σκόπιμη παράκαμψη cache | Κανόνες cache key, rate limit |
| Πολλά ταυτόχρονα connections από ένα session | Parallel scraping | Connection limits ανά session |
Αιτήματα σε /admin, /.env, /wp-login | Vulnerability scanning | Block & alert, μείωσε attack surface |
| Λάθη validation σε σειρά | Fuzzing/scanning | WAF rules, honeypots |
| Κίνηση από cloud/metadata endpoints | SSRF απόπειρα | Egress filtering |
| Ίδιο session ID σε πολλούς λογαριασμούς | Account farm | Link accounts, block farm |
| Αγορές σε δευτερόλεπτα μετά το drop | Scalper | Queue tokens, per-identity limits |
Άμυνα σε βάθος: 7 στρώσεις, με σειρά κόστους και απόδοσης
Η λογική είναι απλή: κάθε στρώση πιάνει ό,τι η προηγούμενη δεν βλέπει, και το κόστος (χρήμα, latency, τριβή) ανεβαίνει προς τα κάτω. Βάλε όσο περισσότερο μπορείς από τις πρώτες στρώσεις: εκεί κερδίζεις τα περισσότερα με τα λιγότερα.
Cache & CDN: η άμυνα που δεν καταλαβαίνεις ότι έχεις
Ό,τι σερβίρεται από cache δεν φτάνει ποτέ στην εφαρμογή. Σωστά cache keys, stale-while-revalidate,
edge rendering για δημόσιο περιεχόμενο, αγνόηση άχρηστων query params. Κόστος: μηδέν. Απόδοση: τεράστια.
Ταυτοποίηση bots: allowlist των καλών, default-deny στα APIs
rDNS + FCrDNS + δημοσιευμένες IP ranges, αυτόματη ανανέωση λιστών, ξεχωριστά όρια ανά bot. Στα APIs: token/HMAC/mTLS αντί για «ανοιχτό» endpoint. Κόστος: χαμηλό. Απόδοση: κόβει θόρυβο και false positives.
Rate limiting με νόημα: ανά διαδρομή, ανά ταυτότητα, με κλιμάκωση
Token bucket ή sliding window ανά session + διαδρομή + ASN, όχι ένα καθολικό όριο.
Σταδιακή απάντηση: 429 με Retry-After → μικρή καθυστέρηση → challenge → block.
Κόστος: χαμηλό. Απόδοση: υψηλή σε scraper/spam.
Challenges: proof-of-work & αόρατα, όχι CAPTCHA-by-default
JS challenge στο πρώτο request, PoW σε φόρμες/checkout, invisible challenges που δεν ενοχλούν. Το CAPTCHA μένει ως έσχατη λύση — τα σύγχρονα bots το λύνουν και οι πραγματικοί χρήστες το μισούν. Κόστος: μέτριο (latency). Απόδοση: υψηλή σε headless farms.
Συμπεριφορική ανάλυση & συνέπεια session
Ροή πλοήγησης, χρονισμοί, entropy κινήσεων, συνέπεια fingerprint ανά session, ταχύτητα καλαθιού→πληρωμής. Είναι το μόνο στρώμα που στέκεται απέναντι σε residential proxies. Κόστος: μέτριο/υψηλό (data & ML). Απόδοση: η καλύτερη σε προχωρημένα bots.
Σκληρυσμό API & επιχειρησιακή λογική
Schema validation, όρια σελίδωσης, quota ανά πελάτη, idempotency keys, όρια ανά μέσο πληρωμής/διεύθυνση, TTL στα καλάθια, έλεγχος «δέσμευσης χωρίς αγορά». Κόστος: ανάπτυξη. Απόδοση: κόβει business-logic abuse που κανένα WAF δεν βλέπει.
Παρατηρησιμότητα, honeypots & ανθεκτικότητα
Διαχωρισμός κίνησης στα logs (human / verified bot / unknown / blocked), honeypot endpoints που κανείς δεν πρέπει να αγγίξει, tripwire δεδομένα, alerting σε μεταβολές τάσης, runbook DDoS, δοκιμές αντοχής. Κόστος: λειτουργικό. Απόδοση: χωρίς αυτό, όλα τα άλλα είναι στα τυφλά.
| Απειλή | Στρώσεις που την πιάνουν | Τι ΔΕΝ δουλεύει |
|---|---|---|
| Spam φορμών | 2, 3, 4 | Μόνο CAPTCHA (λύνεται), blocklists χωρίς honeypot |
| Volumetric DDoS | 1, 7 (+ anycast/scrubbing) | Κανόνες εφαρμογής — φτάνει πριν από αυτή |
| L7 floods | 1, 3, 4, 5 | Αυξανόμενο autoscaling χωρίς όριο κόστους |
| Scalpers | 3, 4, 5, 6 | Όριο ανά IP, CAPTCHA στο drop |
| Aggressive scraping | 1, 2, 3, 5, 6 | Block με UA, μόνιμα IP bans |
| AI crawlers (νόμιμα) | 2 (ταυτοποίηση) + πολιτική | Καθολικό block: χάνεις αναφορές & κίνηση |
| Social bots | Δεν λύνεται εδώ | Οτιδήποτε server-side: το πεδίο είναι οι πλατφόρμες |
10 λάθη που πληρώνονται ακριβά
Block μόνο με User-Agent
Πιάνει μόνο τους ερασιτέχνες, ενώ ένα λάθος string μπλοκάρει νόμιμους crawler. Και τα δύο σενάρια κοστίζουν.
Καθολικό rate limit
Ένα όριο για όλο το site: τιμωρείς τους πάντες και προστατεύεις ελάχιστα. Θέλει όρια ανά διαδρομή και ταυτότητα.
Ξεχνάς το IPv6
Κανόνες μόνο σε IPv4: χιλιάδες διαθέσιμες διευθύνσεις απέναντι σε μια λίστα που δεν τις καλύπτει.
CAPTCHA παντού
Χάνεις μετατροπές από πραγματικούς χρήστες για να ενοχλήσεις bots που το λύνουν σε κλίμακα.
Κανένα log δεν κρατάς
Χωρίς διαχωρισμό κίνησης δεν μπορείς να αποδείξεις επίθεση, να μετρήσεις βελτίωση ή να ρυθμίσεις κανόνες.
Ανοιχτά APIs «για ευκολία»
Το 27% των bot attacks χτυπά APIs: χωρίς quota, token ή schema validation, το API είναι το πιο ακριβό σου endpoint.
Ξεχνάς το egress κόστος
Η επίθεση μπορεί να μη ρίξει το site και να σου στοιχίσει έναν μήνα υποδομής. Βάλε όρια και alerts στο κόστος.
Allowlist που δεν ανανεώνεται
Τα IP ranges των νόμιμων bots αλλάζουν. Μια λίστα του 2023 δημιουργεί false positives ή τρύπες.
Δεν μετράς false positives
Αν δεν ξέρεις πόσους πραγματικούς χρήστες έκοψες, δεν ξέρεις αν η άμυνά σου είναι κερδοφόρα ή ζημιογόνα.
Χωρίς σχέδιο για την «κακή μέρα»
Αν δεν έχεις αποφασίσει εκ των προτέρων τι θυσιάζεις (features, geo, χρήστες) υπό επίθεση, θα αποφασίσεις μέσα στον πανικό.
Πόσο σου κοστίζουν: μοντέλο κόστους & interactive υπολογιστής
Το κόστος δεν είναι μόνο «requests/sec». Είναι τρία ποσά που μεγαλώνουν με την αυτοματοποίηση: compute (κύκλοι CPU για κάθε request που φτάνει στην εφαρμογή), egress (κάθε byte που φεύγει από το δίκτυό σου) και ανθρώπινες ώρες (καθαρισμός spam, έρευνα περιστατικών, υποστήριξη). Ο υπολογιστής παρακάτω δουλεύει τοπικά στον browser σου.
Τα δεδομένα σου
Ανάλυση
Σενάριο βελτιστοποίησης
Cache 95% + edge blocking/challenge στο 70% των κακόβουλων bots (δεν φτάνουν σε origin).
Ο υπολογισμός είναι μοντέλο, όχι τιμολόγιο: χρησιμοποιεί μέσο μέγεθος απάντησης και σταθερές τιμές. Σκοπός είναι να δεις τάξεις μεγέθους και το μερίδιο των bots — όχι να αντικαταστήσει τον λογαριασμό σου.
Νομικό & δεοντολογία: τι επιτρέπεται, τι όχι, τι θέλει τεκμηρίωση
Η τεχνική άμυνα χωρίς νομικό πλαίσιο είναι εύθραυστη. Το ίδιο ισχύει και αντίστροφα: ένας κανόνας που δεν μπορείς να εξηγήσεις μπορεί να γυρίσει εναντίον σου. Τα βασικά σημεία που κάθε διαχειριστής πρέπει να έχει ξεκάθαρα:
Όροι χρήσης
Το «τι επιτρέπεται» πρέπει να είναι γραμμένο, σαφές και προσβάσιμο: αυτοματοποιημένη πρόσβαση, scraping, όρια, απαγορεύσεις. Χωρίς αυτό, η επιχειρηματολογία σου είναι αδύναμη.
Δεδομένα προσωπικού χαρακτήρα
Αν το scraping αγγίζει προσωπικά δεδομένα, μπαίνει το πλαίσιο προστασίας δεδομένων: σκοπός, νομιμότητα, ενημέρωση, δικαιώματα. Και για σένα: τα logs με IP είναι δεδομένα — όρισε χρόνο διατήρησης και σκοπό.
Περιεχόμενο & βάσεις δεδομένων
Η μαζική αντιγραφή μπορεί να αγγίζει δικαιώματα βάσεων δεδομένων ή πνευματικά δικαιώματα. Αντίστοιχα, για AI training υπάρχουν ρήτρες επιφύλαξης δικαιωμάτων (TDM opt-out) που δηλώνονται ρητά.
Μη αυτοδικία
Το να «αντεπιτεθείς» (π.χ. να στείλεις floods πίσω) μπορεί να είναι παράνομο και σίγουρα αντιεπαγγελματικό. Κατέγραψε, τεκμηρίωσε, ενημέρωσε παρόχους/αρχές — μη γίνεις ο επιτιθέμενος.
AI crawlers & άδειες
Η δήλωση στο robots.txt είναι σεβαστή από πολλούς αλλά όχι από όλους. Για σοβαρή
προστασία: όροι, opt-out σήματα, τεχνικά μέτρα και — αν το περιεχόμενο έχει αξία — εμπορικές συμφωνίες άδειας.
Διαφάνεια & αναλογικότητα
Εξήγησε στο κοινό σου τι μπλοκάρεις και γιατί δημοσιεύεις (ή όχι) τα κριτήρια. Η υπερβολική προστασία χωρίς εξήγηση δημιουργεί καχυποψία και χάνει χρήστες.
Το παραπάνω είναι τεχνική επισκόπηση, όχι νομική συμβουλή: οι κανόνες διαφέρουν ανά χώρα και ανά τομέα. Για αποφάσεις με οικονομικό αντίκτυπο, η νομική επισκόπηση είναι μέρος του κόστους υλοποίησης.
Checklist: 24 σημεία ελέγχου
Ορατότητα (πριν από όλα)
- ☐ Διαχωρισμός human / verified bot / unknown / blocked στα logs.
- ☐ Καταγραφή IP, UA, ASN, διαδρομής, status, χρόνου απόκρισης.
- ☐ Δείκτες: bot share, cache hit, 429 rate, challenge solve rate.
- ☐ Πολιτική διατήρησης logs & συμμόρφωση με προστασία δεδομένων.
- ☐ Alerts σε απότομες μεταβολές (ρυθμός, 5xx, κόστος).
- ☐ Μηνιαία ανασκόπηση «τι άλλαξε» και γιατί.
Έλεγχος (μετά)
- ☐ Allowlist verified bots με rDNS + FCrDNS + IP λίστες.
- ☐ Αυτόματη ανανέωση των IP λιστών.
- ☐ Ξεχωριστά όρια ανά κατηγορία bot (crawler ≠ fetcher ≠ monitoring).
- ☐ Rate limiting ανά διαδρομή & ταυτότητα, με σταδιακή κλιμάκωση.
- ☐ Challenges σε ευαίσθητες ροές, όχι σε όλο το site.
- ☐ API: token/HMAC/quota/schema validation, pagination caps.
- ☐ Όρια ανά μέσο πληρωμής/διεύθυνση, TTL καλαθιού.
- ☐ Πλήρες cache (τιμές, feeds, δημόσιο περιεχόμενο).
Ανθεκτικότητα & διαδικασίες
- ☐ Όρια κόστους & alerts σε egress/compute.
- ☐ Origin IP δεν διαρρέει (DNS history, CT, email headers).
- ☐ Runbook DDoS με ρόλους και thresholds, δοκιμασμένο σε drill.
- ☐ «Attack mode» σελίδα και σχέδιο υποβάθμισης features.
- ☐ Honeypot endpoints & tripwire δεδομένα.
- ☐ Monitoring allowlisted (αλλιώς false «down» alerts).
- ☐ Τριμηνιαίος έλεγχος false positives σε πραγματικούς χρήστες.
- ☐ Όροι χρήσης + robots.txt + πολιτική AI crawlers ενημερωμένα.
- ☐ Καθαρισμός spam/περιεχομένου σε προγραμματισμένη βάση.
- ☐ Εκπαίδευση ομάδας: τι κάνουμε σε περιστατικό, ποιος αποφασίζει.
Γλωσσάρι
Συχνές Ερωτήσεις
Πόση κίνηση στο διαδίκτυο προέρχεται από bots;
Οι μελέτες του 2026 τοποθετούν τη συνολική αυτοματοποιημένη κίνηση στο 53% των requests, με το 40% να αποδίδεται σε κακόβουλα bots. Τα ποσοστά ποικίλλουν ανά κλάδο και μέθοδο μέτρησης — γι' αυτό έχει αξία να μετράς τα δικά σου logs.
Πώς ξεχωρίζω ένα καλό bot από ένα κακό;
Με τρία βήματα: (1) ταυτότητα — rDNS, forward confirmation, δημοσιευμένες IP λίστες· (2) συμπεριφορά — ρυθμός, διαδρομές, συνέπεια session· (3) συναίνεση — σέβεται robots.txt, όρους, opt-out. Κανένα μεμονωμένο σήμα δεν αρκεί.
Να μπλοκάρω όλα τα bots;
Όχι. Θα χάσεις ευρετηρίαση, previews στα social, αναφορές από απαντήσεις AI, monitoring (θα νομίζεις ότι έπεσες), feeds συνεργατών και σύγκριση τιμών. Η σωστή προσέγγιση είναι ταξινόμηση και διαφορετική πολιτική ανά κατηγορία.
Τι είναι το seat spinning και πώς το σταματάω;
Η δέσμευση αποθέματος στο καλάθι χωρίς ολοκλήρωση αγοράς. Αντιμετωπίζεται με σύντομο TTL καλαθιού, όρια ανά ταυτότητα (λογαριασμός + κάρτα + διεύθυνση), ουρές με tokens και έλεγχο μετά την αγορά.
Γιατί το CAPTCHA δεν αρκεί;
Γιατί λύνεται (αυτόματα ή από ανθρώπινα farms) και ταυτόχρονα μειώνει τις μετατροπές σου. Τα καλύτερα αποτελέσματα έρχονται από αόρατα challenges, proof-of-work και συμπεριφορική ανάλυση, με το CAPTCHA ως τελευταία επιλογή.
Τα logs με IP είναι προσωπικά δεδομένα;
Σε αρκετές έννομες τάξεις, οι διευθύνσεις IP μπορούν να θεωρηθούν προσωπικά δεδομένα. Καλές πρακτικές: σαφής σκοπός, ελάχιστη διατήρηση, ψευδωνυμοποίηση όπου γίνεται, περιορισμός πρόσβασης και ενημέρωση στην πολιτική απορρήτου.
Οι AI crawlers είναι «κακοί»;
Δεν είναι ούτε καλοί ούτε κακοί: είναι δηλωμένοι και αναγνωρίσιμοι. Εσύ αποφασίζεις με robots.txt ανά token, με όρους χρήσης και — για εμπορικό περιεχόμενο — με άδειες. Σημείωση: ένα ποσοστό των sessions τους ενεργοποιεί κανόνες «κακόβουλου bot» λόγω συμπεριφοράς, οπότε τα τυφλά block χτυπούν και νόμιμους.
Ποιο είναι το πρώτο πράγμα που πρέπει να κάνω αύριο;
Δύο κινήσεις με μηδενικό κόστος: (1) βελτιστοποίησε το cache ώστε η πλειοψηφία της δημόσιας κίνησης να μη φτάνει στην εφαρμογή, και (2) ξεκίνα να διαχωρίζεις την κίνηση στα logs σε ανθρώπους, verified bots και άγνωστα. Χωρίς το δεύτερο, κάθε επόμενη απόφαση είναι εικασία.
Πηγές & μεθοδολογία
Τα ποσοστά και τα μεγέθη της ενότητας 4 προέρχονται από ανεξάρτητες ετήσιες μελέτες της αγοράς (2026) για την αυτοματοποιημένη κίνηση και τις επιθέσεις application layer, καθώς και από εκθέσεις τηλεμετρίας DDoS για το πρώτο εξάμηνο του 2026. Οι μεθοδολογίες διαφέρουν (δείγμα δικτύου, ορισμός «κακόβουλου», ταξινόμηση AI agents), γι' αυτό οι αριθμοί πρέπει να διαβάζονται ως τάξεις μεγέθους και όχι ως ακριβείς μετρήσεις.
- Ετήσια μελέτη bot traffic & automated threats (2026) — σύνθεση κίνησης, AI crawlers/fetchers, στόχοι ανά κλάδο
- Έκθεση ασφάλειας bots & agents (2026) — συμπεριφορές agents, APIs, challenges
- Ευρωπαϊκή έκθεση DDoS, Α' εξάμηνο 2026 — ρεκόρ μεγέθους, διάρκεια, μοτίβα
- Ανάλυση botnet supply chain (2026) — πώς φτάνουν σε terabit κλίμακα
- Ποσοστό spam στο email — πλαίσιο για spam volume
- Στατιστικά κατάληψης λογαριασμών (2026) — credential stuffing & επιπτώσεις
Τα ονόματα των bots στην ενότητα 🟢 αναφέρονται ως τεκμηρίωση για allowlists και robots.txt. Στην ενότητα 🔴 αποφεύγονται σκόπιμα ονόματα φορέων, εργαλείων και «οικογενειών» κακόβουλου λογισμικού: περιγράφονται μοτίβα και τεχνικές.