Πέντε bits αρκούν για να «τυφλώσουν» ένα AI ρομπότ

Το ρομπότ δεν χρειάζεται να χάσει όλη τη μνήμη του. Αρκεί να πειραχτούν τα σωστά σημεία.

Ένα Vision-Language-Action μοντέλο μπορεί να περιέχει δισεκατομμύρια παραμέτρους. Η αυθόρμητη αντίδραση είναι ότι μια αλλαγή σε λίγα bits θα χαθεί μέσα σε αυτόν τον ωκεανό αριθμών. Η νέα έρευνα των Yudong Gao, Linghan Chen και συνεργατών δείχνει ακριβώς το αντίθετο. Όταν οι αλλοιώσεις δεν είναι τυχαίες αλλά επιλεγμένες με βάση το πόσο έντονα επηρεάζουν την τελική κίνηση, λίγες αλλαγές σε αποθηκευμένα INT8 βάρη μπορούν να καταστρέψουν ολόκληρη την πολιτική ελέγχου.

Στο LIBERO-Spatial, τρία επιλεγμένα flips έριξαν την επιτυχία της προσομοίωσης από 88% σε 0% σε 50 αξιολογήσεις. Στις ευρύτερες δοκιμές, τα budgets διαφοροποιήθηκαν ανά αρχιτεκτονική: 11 έως 55 flips για direct-regression και discrete-token policies, περίπου 100 έως 300 για flow-matching policies. Εκατοντάδες τυχαία flips, αντίθετα, δεν προκάλεσαν αντίστοιχη καταστροφή.

Αυτό είναι το κεντρικό μήνυμα: δεν μιλάμε για εύθραυστη μνήμη που καταρρέει από λίγο noise. Μιλάμε για τεράστια ανισότητα ευαισθησίας. Τα περισσότερα bits είναι σχεδόν αδιάφορα. Μερικά βρίσκονται πάνω σε νευραλγικές διαδρομές της παραγωγής δράσης. Αν ο επιτιθέμενος εντοπίσει αυτά τα σημεία, το μοντέλο συνεχίζει να φορτώνει, να δέχεται εικόνες και εντολές και να παράγει αριθμητικές εξόδους, αλλά οι εξόδοι δεν οδηγούν πλέον σε επιτυχημένη συμπεριφορά.

Τι είναι ένα Vision-Language-Action μοντέλο και γιατί ένα λάθος του αποκτά σώμα

Τα VLA μοντέλα ενώνουν τρεις κόσμους. Το vision διαβάζει την κάμερα και αναγνωρίζει αντικείμενα, θέση, σχήμα και σκηνή. Το language καταλαβαίνει την ανθρώπινη οδηγία, όπως «βάλε το κόκκινο ποτήρι στο αριστερό ράφι». Το action μετατρέπει αυτή την κατανόηση σε διαδοχικές κινήσεις: μετατόπιση βραχίονα, περιστροφή καρπού, άνοιγμα ή κλείσιμο αρπάγης.

Η υπόσχεσή τους είναι τεράστια. Αντί να προγραμματίζουμε κάθε εργασία με ξεχωριστούς κανόνες, εκπαιδεύουμε ένα γενικό μοντέλο πάνω σε πολλές εμπειρίες ρομπότ. Συστήματα όπως το OpenVLA χρησιμοποιούν εκατοντάδες χιλιάδες επεισόδια και δισεκατομμύρια παραμέτρους, ώστε να προσαρμόζονται σε νέα αντικείμενα, περιβάλλοντα και embodiments.

Η ίδια ενοποίηση δημιουργεί όμως νέο ρίσκο. Σε ένα chatbot, ένα αλλοιωμένο βάρος μπορεί να προκαλέσει λάθος λέξη. Σε ένα VLA, το λάθος περνά στην action head και επαναλαμβάνεται μέσα σε βρόχο με τον φυσικό κόσμο. Το ρομπότ κινείται, η κάμερα βλέπει νέα σκηνή, το μοντέλο υπολογίζει επόμενη κίνηση και το σύστημα συνεχίζει. Μικρές αποκλίσεις μπορούν να συσσωρευτούν έως ότου η λαβή χάσει το αντικείμενο, ο βραχίονας ξεφύγει από την τροχιά ή η εργασία γίνει αδύνατη.

Τι είναι bit-flip attack και πώς η μνήμη γίνεται επιθετική επιφάνεια

Κάθε βάρος του quantized μοντέλου αποθηκεύεται ως δυαδικός αριθμός. Σε INT8 representation χρησιμοποιούνται οκτώ bits και two's-complement για αρνητικές τιμές. Ένα bit flip είναι ακριβώς αυτό που ακούγεται: ένα αποθηκευμένο 0 αλλάζει σε 1 ή ένα 1 σε 0. Αν αλλάξει ασήμαντο bit, η αριθμητική διαφορά μπορεί να είναι μικρή. Αν αλλάξει sign bit ή bit υψηλής θέσης, η μεταβολή γίνεται πολύ μεγαλύτερη.

Η κλασική σύνδεση είναι το Rowhammer. Με επαναλαμβανόμενες προσπελάσεις σε συγκεκριμένες σειρές DRAM, ηλεκτρικές αλληλεπιδράσεις μπορούν υπό προϋποθέσεις να προκαλέσουν αλλαγές σε γειτονικά cells. Σύγχρονες παραλλαγές και σχετική έρευνα έχουν επεκτείνει τη συζήτηση σε GPU και GDDR μνήμη. Το σημαντικό είναι ότι η επίθεση δεν χρειάζεται να αλλάξει το αρχείο του μοντέλου μέσω κανονικού software write. Στοχεύει τη φυσική διατήρηση των bits.

Η μελέτη για τα VLA δεν ισχυρίζεται ότι πραγματοποίησε πλήρη, end-to-end Rowhammer επίθεση σε κάθε δοκιμή. Αξιολογεί logical INT8 corruption: θεωρεί ότι ο επιτιθέμενος μπορεί να προκαλέσει επίμονες αλλαγές στις επιλεγμένες συντεταγμένες βαρών και μετρά τι συμβαίνει στην πολιτική. Οι συγγραφείς είναι ξεκάθαροι ότι η φυσική παράδοση των ακριβών flips εξαρτάται από συσκευή, placement και fault profile. Αυτός ο αστερίσκος είναι κρίσιμος.

Η quantization κάνει το ρομπότ πρακτικό, αλλά μετατρέπει τα βάρη σε καθαρούς στόχους

Τα μεγάλα VLA μοντέλα είναι δύσκολο να τρέξουν πάνω σε edge hardware. Η quantization μειώνει την ακρίβεια αναπαράστασης των βαρών από floating point σε INT8 ή χαμηλότερα formats. Το κέρδος είναι μικρότερη μνήμη, χαμηλότερο bandwidth, ταχύτερο inference και καλύτερη ενεργειακή αποδοτικότητα. Χωρίς τέτοιες τεχνικές, πολλά ρομπότ θα χρειάζονταν συνεχή cloud σύνδεση ή πολύ ακριβότερο onboard compute.

Στην per-channel symmetric INT8 quantization, κάθε σειρά βαρών αποκτά scale. Η πραγματική τιμή προσεγγίζεται από έναν ακέραιο μεταξύ -128 και 127 επί αυτό το scale. Η καθαρή quantization στο πείραμα άλλαζε ελάχιστα την action output, άρα το μοντέλο λειτουργούσε κανονικά. Η επίθεση δεν εκμεταλλεύεται απλή απώλεια ακρίβειας. Εκμεταλλεύεται το γεγονός ότι ένας ακριβής bit-level μετασχηματισμός αλλάζει συγκεκριμένη αριθμητική τιμή με προβλέψιμο τρόπο.

Το INT8 έχει και ένα παράδοξο πλεονέκτημα για την ανάλυση. Ένα flip δεν δημιουργεί NaN ή infinity όπως θα μπορούσε να συμβεί σε ορισμένα floating-point patterns. Η μεταβολή είναι πεπερασμένη. Αυτό σημαίνει ότι η αποτυχία δεν είναι ένα φτηνό crash λόγω μη έγκυρου αριθμού. Είναι πραγματική διάδοση ενός bounded weight fault μέσα στο decoder, μέχρι να αλλοιωθεί η συμπεριφορά.

Πώς βρίσκεις τις βελόνες μέσα σε δισεκατομμύρια bits

Το να δοκιμάσει κάποιος κάθε πιθανό bit είναι υπολογιστικά αδύνατο. Οι ερευνητές χρησιμοποιούν gradient information για να εκτιμήσουν ποια αλλαγή θα μετακινήσει περισσότερο την τελική δράση προς μια καταστροφική κατεύθυνση. Για κάθε υποψήφιο βάρος υπολογίζουν την ευαισθησία του objective και τη συνδυάζουν με την ακριβή αλλαγή που θα προκαλούσε το flip στο dequantized βάρος.

Η βασική ιδέα είναι απλή: το gradient λέει προς ποια κατεύθυνση πρέπει να μετακινηθεί ένα βάρος ώστε να επηρεάσει την έξοδο. Η δυαδική αναπαράσταση λέει ποιες μετακινήσεις είναι πραγματικά διαθέσιμες με ένα μόνο toggle. Ο πολλαπλασιασμός αυτών των δύο πληροφοριών δίνει score για κάθε bit. Έπειτα επιλέγονται τα flips με το μεγαλύτερο θετικό gain.

Για τα flow-matching heads, οι συνηθισμένες επιθέσεις δεν δούλευαν αρκετά καλά. Η action output προκύπτει μετά από σειρά solver updates, οπότε το noise μπορεί να απορροφήσει ή να διασκορπίσει την επίδραση. Η ομάδα σχεδίασε fixed-direction manifold-escape objective, που ωθεί τις τελικές εκτελούμενες δράσεις σε κοινή κατεύθυνση μακριά από την καθαρή συμπεριφορά. Αυτό μείωσε το collapse budget του π0 από περίπου 1.000 σε περίπου 100 flips.

1. Φορτώνεται το quantized μοντέλο και ένα μικρό calibration set, ξεχωριστό από την αξιολόγηση.
2. Η επίθεση διαφορίζει την τελική εκτελούμενη action output μέσα από ολόκληρο τον decoder.
3. Για κάθε INT8 βάρος εξετάζονται και τα οκτώ πιθανά bit flips με το πραγματικό quantization scale.
4. Κατατάσσονται τα bits που προβλέπεται να προκαλέσουν τη μεγαλύτερη directional action μεταβολή.
5. Εφαρμόζεται μικρό budget επίμονων flips και η πολιτική αξιολογείται σε closed loop.

Αυτό εξηγεί γιατί 300 τυχαία flips μπορεί να είναι ακίνδυνα ενώ τρία επιλεγμένα είναι καταστροφικά. Η επίθεση δεν αγοράζει περισσότερη βία. Αγοράζει περισσότερη πληροφορία.

Direct regression, action tokens και flow matching δεν σπάνε με τον ίδιο τρόπο

Τα VLA δεν παράγουν όλα δράσεις με την ίδια αρχιτεκτονική. Ένα direct-regression head μετατρέπει άμεσα την εσωτερική αναπαράσταση σε συνεχείς αριθμούς κίνησης. Ένα discrete-token head χωρίζει τις δράσεις σε bins και επιλέγει action tokens. Ένα flow-matching head ξεκινά από noise και το μετασχηματίζει σταδιακά σε action trajectory μέσω επαναληπτικών updates.

Οι direct και token policies έδειξαν χαμηλότερο empirical budget. Οι flow policies χρειάστηκαν περισσότερα flips, περίπου 100 έως 300 στις αξιολογημένες περιπτώσεις. Η διαφορά δεν είναι μικρή. Δείχνει ότι ο decoder δεν είναι απλώς τελευταίο performance component. Είναι μέρος του security posture.

Στη direct regression, ένα ευαίσθητο βάρος κοντά στην έξοδο μπορεί να επηρεάσει άμεσα actuator commands. Στα tokens, μια μετατόπιση logits μπορεί να αλλάξει το επιλεγμένο bin. Στο flow matching, η δράση σχηματίζεται μέσα από πολλά βήματα και διαφορετικά noise draws. Αυτή η δυναμική μπορεί να αποδυναμώσει ασυντόνιστες perturbations. Όταν όμως η επίθεση καταφέρει να επιβάλει κοινό προσανατολισμό στην τελική δράση, καταρρέει και αυτή η σχετική αντοχή.

Open-loop απόκλιση και closed-loop αποτυχία είναι δύο διαφορετικά τέρατα

Αν πάρεις μία εικόνα και μετρήσεις πόσο άλλαξε η προβλεπόμενη δράση, κάνεις open-loop αξιολόγηση. Είναι χρήσιμη, αλλά δεν αποτυπώνει ολόκληρο το ρομποτικό πρόβλημα. Στο closed loop, η δράση αλλάζει την κατάσταση του κόσμου. Η επόμενη εικόνα είναι αποτέλεσμα της προηγούμενης κίνησης. Ένα μικρό λάθος στον πρώτο χρόνο μπορεί να οδηγήσει το σύστημα σε observation που δεν θα έβλεπε ποτέ η καθαρή πολιτική.

Από εκεί ξεκινά compounding error. Ο βραχίονας πλησιάζει το αντικείμενο από ελαφρώς λάθος γωνία. Η επόμενη εντολή διορθώνει πάνω σε ήδη προβληματική κατάσταση. Η λαβή κλείνει λίγο νωρίς ή λίγο αργά. Η εργασία αποτυγχάνει, παρότι καμία μεμονωμένη εντολή δεν έμοιαζε θεαματικά παράλογη.

Αυτός είναι ο λόγος που classifier benchmarks δεν αρκούν για embodied AI. Σε classification, το corrupted model διαβάζει input και παράγει μία ετικέτα. Στη ρομποτική, η έξοδος επιστρέφει ως μέρος του επόμενου input. Το μοντέλο δεν κάνει απλώς λάθος. Κατασκευάζει το περιβάλλον μέσα στο οποίο θα κάνει το επόμενο λάθος.

Σε πραγματικό 6-DoF ρομπότ, 100 emulated flips έφεραν 0 επιτυχίες στις 20

Η πραγματική δοκιμή χρησιμοποίησε ξεχωριστό π0.5 εκπαιδευμένο για φυσικό ρομποτικό βραχίονα. Με clean model, το ρομπότ ολοκλήρωσε 14 από τις 20 προσπάθειες. Με global-random perturbations, ολοκλήρωσε 16 από τις 20. Αυτή η μικρή αύξηση δεν σημαίνει ότι το random noise βοηθά γενικά. Δείχνει κυρίως ότι η φυσική αξιολόγηση έχει variance και ότι η τυχαία αλλοίωση δεν προκάλεσε συστηματική κατάρρευση.

Με task-calibrated emulated K=100 flips, η επιτυχία έγινε 0 στις 20. Η σύγκριση είναι βάναυση: ίδιος ρομποτικός κόσμος, παρόμοιος αριθμός αλλαγών στη μνήμη, εντελώς διαφορετική συμπεριφορά ανάλογα με το αν οι αλλαγές επιλέχθηκαν με πληροφορία.

Η λέξη emulated πρέπει να μείνει. Οι ερευνητές εφάρμοσαν λογικά τις αλλοιώσεις που αντιστοιχούν σε bit flips. Δεν ισχυρίζονται ότι εκτέλεσαν πλήρη Rowhammer delivery πάνω στο συγκεκριμένο ρομπότ. Αλλά το πείραμα απαντά στο κρίσιμο systems question: αν αυτές οι αλλοιώσεις φτάσουν στα βάρη, το physical task όντως καταρρέει.

Πόσο ρεαλιστικό είναι να αλλάξει κάποιος ακριβώς αυτά τα bits;

Το threat model υποθέτει edge-served INT8 VLA, πιθανώς σε μνήμη που μοιράζεται με μη έμπιστη διεργασία. Ο επιτιθέμενος γνωρίζει architecture, weights, scales και decoder, διαθέτει μικρό calibration set και μπορεί να προκαλέσει μέχρι K επίμονα flips. Δεν ελέγχει την εκπαίδευση, τις εισόδους, τα activations ή το περιβάλλον. Η αρχική εγκατάσταση δεν διαθέτει αποτελεσματική end-to-end memory integrity ή ECC.

Αυτό είναι ισχυρό knowledge assumption. Ένας casual attacker δεν κοιτά ένα κλειστό βιομηχανικό ρομπότ και μαντεύει τρία bits. Χρειάζεται πρόσβαση σε αντίστοιχο μοντέλο, profiling, δυνατότητα χαρτογράφησης των ευάλωτων cells και τρόπο να ευθυγραμμίσει το physical fault με τη σωστή parameter location. ASLR, memory allocation, ECC και hardware differences κάνουν το πρόβλημα δυσκολότερο.

Από την άλλη, τα VLA models συχνά βασίζονται σε open checkpoints, γνωστές αρχιτεκτονικές και commodity accelerators. Σε supply-chain ή multi-tenant περιβάλλον, ο attacker μπορεί να έχει περισσότερο visibility από όσο θα θέλαμε. Οι συγγραφείς σημειώνουν ότι προηγούμενες τεχνικές DeepHammer, GPUHammer και GDDRHammer έχουν επιδείξει στοχευμένες ή συγκρίσιμες αλυσίδες faults, αλλά όχι ότι κάθε συσκευή είναι έτοιμος στόχος.

Η σωστή θέση λοιπόν δεν είναι ούτε «αύριο θα χακαριστούν όλα τα ρομπότ» ούτε «είναι μόνο simulation». Είναι ότι ανακαλύφθηκε ένα επικίνδυνο amplification mechanism. Όσο η φυσική fault injection βελτιώνεται και τα μοντέλα μετακινούνται σε edge hardware, το κενό ανάμεσα σε logical attack και end-to-end exploit μικραίνει.

Δεν χρειάζεται να θωρακίσεις κάθε βάρος. Χρειάζεται να ξέρεις ποια βάρη κρατούν το τιμόνι.

Ένα από τα πιο χρήσιμα ευρήματα είναι ότι τα damaging bits συγκεντρώνονται σε λίγα action-generating layers. Σε direct head, η προστασία του 3,1% των βαρών διατήρησε 60% closed-loop success ακόμη και σε K=100 adaptive attack. Με προστασία 5,3%, το open-loop break threshold μετακινήθηκε από 3 σε 100 flips.

Η λέξη adaptive είναι σημαντική. Οι ερευνητές δεν προστάτευσαν απλώς τα γνωστά bits και ξαναέπαιξαν την ίδια επίθεση. Αφαίρεσαν τα προστατευμένα weights από το candidate set και άφησαν τον attacker να ξαναχτίσει ranking στα υπόλοιπα. Άρα το αποτέλεσμα δείχνει πραγματική αύξηση κόστους, όχι απλή blocklist.

Οι πιθανές άμυνες απλώνονται σε πολλά επίπεδα. ECC ή ισχυρότερη μνήμη για κρίσιμες περιοχές. Checksums και integrity verification κατά τη φόρτωση και περιοδικά στο runtime. Memory isolation από μη έμπιστες διεργασίες. Redundant inference ή ανεξάρτητος safety controller που ελέγχει bounds και φυσικούς περιορισμούς. Selective replication των ευαίσθητων layers. Secure boot και signed model artifacts. Telemetry που εντοπίζει ξαφνικές σταθερές action biases.

Καμία άμυνα μόνη της δεν αρκεί. Το checksum μπορεί να εντοπίσει persistent corruption, αλλά όχι απαραίτητα transient fault πριν την εκτέλεση. Το ECC έχει κόστος και περιορισμούς. Ο safety controller μπορεί να κόψει ακραίες κινήσεις, αλλά όχι πάντα μικρές αποκλίσεις που καταστρέφουν την εργασία. Η σωστή λύση είναι layered.

• Χαρτογράφησε action-critical layers και βάρη με sensitivity testing.
• Βάλε ECC, replication ή integrity checks εκεί που το leverage είναι μεγαλύτερο.
• Απομόνωσε model memory και περιόρισε co-resident untrusted workloads.
• Έλεγξε actuator commands με ανεξάρτητους physical safety constraints.
• Κάνε closed-loop fault-injection testing πριν από πραγματική ανάπτυξη.

Στην embodied AI, τα model weights πρέπει να αντιμετωπίζονται σαν firmware πτήσης

Μέχρι τώρα, η ασφάλεια των foundation models περιστρεφόταν κυρίως γύρω από training data, prompt injection, jailbreaks, malicious tools και supply-chain backdoors. Η νέα μελέτη προσθέτει ένα χαμηλότερο layer: την ακεραιότητα της αποθηκευμένης αριθμητικής κατάστασης. Αν τα weights ελέγχουν φυσικούς actuators, δεν είναι απλό asset machine learning. Είναι μέρος του control plane.

Αυτό αλλάζει το πώς πρέπει να πιστοποιούνται τα ρομπότ. Δεν αρκεί να μετράμε clean success rate ή robustness σε noisy εικόνες. Χρειάζονται bit-level fault campaigns, memory-integrity requirements, architecture-aware safety cases και benchmarks που μετρούν closed-loop συνέπειες. Η quantization πρέπει να αξιολογείται μαζί με fault tolerance, όχι μόνο με accuracy και latency.

Το paper επίσης δείχνει ότι η αρχιτεκτονική action decoding είναι security choice. Οι flow heads εμφανίστηκαν πιο ανθεκτικές στα συγκεκριμένα attacks, χωρίς να είναι άτρωτες. Οι direct heads είναι απλούστερες και γρήγορες, αλλά μπορεί να συγκεντρώνουν υπερβολικό leverage σε μικρή περιοχή. Στο μέλλον, σχεδιαστές θα πρέπει να βελτιστοποιούν όχι μόνο task success ανά watt, αλλά και task failure ανά fault.

Και εδώ βρίσκεται το πραγματικό βάρος της έρευνας. Δεν μας λέει απλώς ότι «πέντε bits είναι τρομακτικά». Μας λέει ότι η embodied intelligence έχει νέα ρίζα εμπιστοσύνης. Αν η μνήμη δεν είναι ακέραιη, η αντίληψη, η λογική και η δράση δεν είναι πλέον αξιόπιστες, όσο έξυπνο κι αν είναι το μοντέλο.