Google.com/goto: Η Αλλαγή στα SERPs & Το Web Scraping Crisis

1. Τι είναι το Google.com/goto Passthrough Layer;

Η Google ολοκλήρωσε τη σταδιακή εφαρμογή μιας από τις μεγαλύτερες τεχνικές αλλαγές στην υποδομή των σελίδων αποτελεσμάτων αναζήτησης (SERPs) των τελευταίων ετών. Αντί η Google να παραθέτει απευθείας το καθαρό URL του εκδότη (π.χ. https://example.com/article) στην ιδιότητα href του αποτελέσματος, πλέον παρεμβάλλει ένα δικό της ενδιάμεσο endpoint.

Όταν ένας χρήστης ή ένα αυτοματοποιημένο bot κάνει κλικ στο σύνδεσμο, το αίτημα δρομολογείται μέσω του URL google.com/goto?url=[hash], το οποίο επιστρέφει μια απάντηση 302 Found (Redirect) προς τον τελικό προορισμό.

Αυτή η πρακτική αντικατοπτρίζει τη συμπεριφορά που χρησιμοποιεί η Google εδώ και χρόνια στις διαφημίσεις (Google Ads), όπου τα κλικ δρομολογούνται μέσω του endpoint google.com/aclk. Πλέον, η ίδια λογική εφαρμόζεται και στα οργανικά αποτελέσματα.

2. Ο Τεχνικός Μηχανισμός & Το Μπλοκάρισμα των HEAD Requests

Η βαθύτερη τεχνική ανάλυση αποκαλύπτει γιατί αυτή η αλλαγή προκάλεσε «σεισμό» στη βιομηχανία του Web Scraping. Παραδοσιακά, τα εργαλεία συλλογής SERP δεδομένων (Scrapers) για να βρουν πού οδηγεί ένα redirect, εκτελούσαν ένα ελαφρύ HEAD HTTP Request. Το HEAD request επιστρέφει μόνο τα HTTP Headers (συμπεριλαμβανομένου του Location: header) χωρίς να κατεβάσει το σώμα (body) της σελίδας, εξοικονομώντας εύρος ζώνης (bandwidth) και υπολογιστικούς πόρους.

Όπως επιβεβαίωσε ο Derek Perkins (ειδικός σε υποδομές SERP), η Google μπλοκάρει πλέον όλα τα HEAD requests που υποβάλλονται στα /goto URLs.

Αυτό υποχρεώνει τα εργαλεία να εκτελούν πλήρη GET requests ή να εξομοιώνουν πλήρη πλοήγηση μέσω headless browsers (Puppeteer, Playwright). Το αποτέλεσμα είναι η δραματική αύξηση της υπολογιστικής ισχύος: για την ανάλυση μιας αναφοράς 5 σελίδων αποτελεσμάτων, ένα εργαλείο χρειάζεται πλέον από 500 έως 1.000 ξεχωριστά requests.

3. Γιατί το έκανε η Google; (Scraping, AI & Abuse)

Σε επίσημη δήλωσή της στο Search Engine Roundtable, η Google αρκέστηκε να αναφέρει: «Έχουμε μια μακρά ιστορία εφαρμογής τεχνικών μέτρων ενάντια σε εξελισσόμενες μορφές κατάχρησης και λαμβάνουμε τακτικά μέτρα για την προστασία των υπηρεσιών και των χρηστών μας».

Πίσω από αυτή τη λιτή πρόταση κρύβονται τρεις στρατηγικές επιδιώξεις:

• Προστασία Data Pipelines από AI Crawlers: Μεγάλα μοντέλα τεχνητής νοημοσύνης (LLMs) χρησιμοποιούσαν τη Google ως "δωρεάν" real-time index. Το /goto υψώνει ένα τεράστιο οικονομικό και τεχνικό τείχος.
• Περιορισμός του Commercial SERP Scraping: Αυξάνει κατακόρυφα το operational cost εταιρειών που πουλάνε SERP APIs.
• Καταπολέμηση Spam & Click Fraud: Επιτρέπει στην Google να ελέγχει σε πραγματικό χρόνο αν το κλικ προέρχεται από πραγματικό χρήστη πριν τον προωθήσει στην ιστοσελίδα προορισμού.

4. Επιπτώσεις στο SEO, στο Rank Tracking & στο GA4

Πώς επηρεάζει αυτή η αλλαγή τους ιδιοκτήτες ιστοσελίδων, τους Marketers και τους SEO Specialists;

5. Πώς πρέπει να προσαρμοστούν τα Data Pipelines (Developers & Data Engineers)

Για τις ομάδες που αναπτύσσουν δικά τους εργαλεία συλλογής δεδομένων, η προσέγγιση "Regex Parsing στο HTML" θεωρείται πλέον παρωχημένη. Απαιτείται η υιοθέτηση μιας αρχιτεκτονικής 4 σταδίων:

Επιπλέον, η χρήση **WHATWG URL Parsers** είναι υποχρεωτική έναντι των Regular Expressions για την αποφυγή λανθασμένης ερμηνείας των parameters.