Rho-1: ένα AI που ενώνει κείμενο, εικόνα, βίντεο και ρομπότ σε ένα μοντέλο

Τι είναι το Rho-1

Το Rho-1 είναι research preview της Reka AI, της εταιρείας του Dani Yogatama (πρώην Google DeepMind, καθηγητής στο USC). Η Reka το χαρακτηρίζει «omni» μοντέλο: καταναλώνει και παράγει κείμενο, εικόνες, βίντεο και ρομποτικές ενέργειες, όλα ως tokens στο ίδιο παράθυρο context. Η ανακοίνωση έχει τίτλο «Collapsing the multimodal stack», δηλαδή «συμπτύσσοντας τη στοίβα των multimodal συστημάτων».

Εκπαιδεύτηκε από το μηδέν, δεν χτίστηκε πάνω σε υπάρχον LLM. Προς το παρόν δεν υπάρχει δημόσια τιμολόγηση ούτε self-serve κατέβασμα: η πρόσβαση γίνεται με συνεργασία μέσω Reka Cloud, και η Reka καλεί ομάδες που δουλεύουν σε embodied robotics, διαδραστικές προσομοιώσεις και vision-action συστήματα.

Η βασική ιδέα: μία στοίβα αντί για πολλές

Αρχιτεκτονική

Σύμφωνα με τη Reka, μέσα στα transformer blocks υπάρχουν δύο «expert» ροές: μία για κατανόηση (γλώσσα και όραση) και μία για δημιουργία (εικόνες και βίντεο). Μοιράζονται attention και context, ενώ ένα KV cache κουβαλά το ιστορικό της συνεδρίας. Την αρχιτεκτονική την περιγράφει ως συμμετρική: ό,τι μπορεί να διαβάσει, μπορεί και να παράγει.

Η συμμετρία έχει συγκεκριμένο μηχανισμό: κάθε σήμα που μπαίνει ή βγαίνει ανήκει σε μία από δύο «μητρικές» μορφές — discrete tokens (κείμενο, συλλογισμός, εντολές) και continuous tokens (image latents, καρέ βίντεο, ρομποτικές ενέργειες, proprioception). Επειδή η έξοδος έχει την ίδια μορφή με την είσοδο, ό,τι παράγει το μοντέλο ξαναμπαίνει κατευθείαν στο context — και επειδή κάθε modality κρατά τη φυσική του μορφή, το μοντέλο δεν αναγκάζεται να κβαντίσει πλούσια συνεχή δυναμική σε φτωχά διακριτά tokens. Η εκπαίδευση τρέχει με δύο ταυτόχρονα objectives: next-token prediction για τις διακριτές ακολουθίες και flow matching για εικόνα, βίντεο και actions. Και επειδή οι δύο ροές μοιράζονται attention και αναπαράσταση, η πρόοδος δεν μένει σε σιλό: η Reka υποθέτει ότι όταν το μοντέλο ακονίζει το spatial reasoning στο κείμενο, βελτιώνεται και η συνέπεια του βίντεο — όταν μαθαίνει φυσική από embodied τροχιές, γειώνεται καλύτερα το steering.

Το πιο ενδιαφέρον χαρακτηριστικό είναι το συνεχές βίντεο που δέχεται νέες οδηγίες χωρίς επανεκκίνηση. Μπορείς να αλλάξεις κάτι στη σκηνή ενώ το βίντεο παράγεται ακόμη.

Οι τέσσερις μορφές, σε μία συζήτηση

Το demo της ανακοίνωσης

Η Reka δείχνει μια συζήτηση που προχωρά από την εικόνα στο βίντεο και πίσω στο κείμενο, χωρίς να αλλάξει μοντέλο:

Ρομποτική: από το βίντεο στην κίνηση

Η λογική είναι ότι ένα σύστημα που προβλέπει τι θα δει και παράγει την ενέργεια που θα το φέρει εκεί μειώνει τις παραδόσεις ανάμεσα σε world model, planner και policy ρομπότ. Στο ίδιο πνεύμα κινούνται και ερευνητικές δουλειές με video diffusion και action transformers (π.χ. DiT4DiT, 2026).

Το κλειδί είναι ότι τα actions είναι native continuous tokens δίπλα σε κείμενο και pixels: το δίκτυο που προβλέπει τα επόμενα καρέ της κάμερας είναι το ίδιο δίκτυο που υπαγορεύει την κίνηση των αρθρώσεων — δεν χρειάζεται ad-hoc robotics wrapper, τα action channels μοιράζονται τον core attention χώρο. Η Reka δείχνει episode με όλα τα κανάλια ανοιχτά σε LIBERO task: παρατήρηση, προβλεπόμενη wrist view δίπλα στην πραγματική, και τα επτά action channels που εκπέμπει το μοντέλο.

Ακόμα και με καθαρό text conditioning, το μοντέλο δείχνει διαισθητική κατανόηση επαφής και rigid-body μηχανικής: grippers που πιάνουν μπανάνα από πιάτο, κούπα από το χερούλι, μήλο από την wrist κάμερα, σφουγγάρι για σκούπισμα, κουτί από πάγκο, διπλωμένο ύφασμα από καλάθι — αντικείμενα που μένουν συμπαγή αντί να μορφοποιούνται ή να κόβονται μέσα σε επιφάνειες.

Το πρόβλημα των δεδομένων το λύνουν με ένα δεύτερο μοντέλο, το inverse dynamics model της Reka: εκτιμά ποια σήματα ελέγχου θα μπορούσαν να έχουν παράγει ένα παρατηρούμενο βίντεο. Έτσι μπορούν να βγουν «ετικέτες κίνησης» από κανονικά βίντεο του διαδικτύου, αφού τα δεδομένα με πραγματικά ρομπότ είναι λίγα.

Ταχύτητα

Το Flash προκύπτει από distillation: το μονοπάτι του denoising κόβεται από 99 σε 8 βήματα. Όλα τα νούμερα είναι από δοκιμές της ίδιας της Reka και όχι από ανεξάρτητη αξιολόγηση.

Steerable worlds: το βίντεο ως προσομοίωση

Η ταχύτητα από μόνη της θα έδινε απλώς ένα γρηγορότερο render farm. Αυτό που αλλάζει το παιχνίδι είναι ότι η γέννηση είναι συνεχής και κατευθυνόμενη: κλιπ μετά το κλιπ, το καθένα συνεχίζει ακριβώς εκεί που σταμάτησε το προηγούμενο — ο χρόνος μέσα στην προσομοίωση δεν σταματά ποτέ. Νέες οδηγίες φτάνουν ανά πάσα στιγμή από το understanding stream, ενημερώνουν τη μνήμη κατάστασης και η generation stream αποδίδει τη νέα τροχιά. Ο κόσμος αλλάζει χωρίς ούτε ένα cut.

Η Reka δείχνει session που ανοίγει με «πράσινη και κόκκινη μπάλα σε πάγκο»: ρομποτικός βραχίονας πιάνει την κόκκινη όταν του το λες, τη σηκώνει, την αφήνει όταν του πεις να την αφήσει. Και το πιο δυνατό demo: ένα άνοιγμα, δύο συνέχειες — το ίδιο πρώτο μισό δευτερόλεπτο, μετά «bank left» από τη μία και «bank right» από την άλλη, και οι δύο συνέχειες έγκυρες για planning. Δύο εφαρμογές που ανοίγουν: generative environments on demand (αντί να χτίζεις χειροκίνητα 3D κόσμους για autonomous driving ή training πολιτικών, στήνεις αντιδραστικά περιβάλλοντα και τα πειράζεις live) και steerable livestreams (βλέπεις αδιάκοπη ροή, αλλάζεις φυσική ή καιρό mid-frame, επιθεωρείς state, επεκτείνεις τον ορίζοντα επ' αόριστον).

Τι δεν λύνει (ακόμα)

Η Reka αποδίδει τους περιορισμούς κυρίως σε κλίμακα εκπαίδευσης και δεδομένα και περιμένει βελτίωση όσο τα μεγαλώνει. Αυτό είναι υπόθεση, δεν το έχει αποδείξει το preview. Δεν υπάρχει επίσης ανεξάρτητη σύγκριση με εξειδικευμένα συστήματα για διαδραστικούς κόσμους ή για έλεγχο φυσικών ρομπότ.

Πού βρίσκεται στην αγορά

Η ιδέα δεν είναι εντελώς νέα. Το Unified-IO 2 (Allen AI, 2023) ήταν μοντέλο 7B εκπαιδευμένο από το μηδέν που κατανοούσε και παρήγαγε εικόνα, κείμενο, ήχο και ενέργειες. Η διαφορά του Rho-1 είναι το streaming βίντεο με διαδραστικές οδηγίες και η σύνδεση με πρόβλεψη καρέ για ρομπότ.

Ανταγωνισμός. Το Genie 3 της Google DeepMind παράγει περιβάλλοντα που μπορείς να πλοηγηθείς σε πραγματικό χρόνο. Η Reka θέλει αυτό το είδος προσομοίωσης μαζί με συλλογισμό γλώσσας και ρομποτικές ενέργειες στο ίδιο μοντέλο.

Η Reka. Έβγαλε το Reka Core τον Απρίλιο του 2024 και έχει χρηματοδότηση 110 εκ. δολαρίων από το 2025 με συμμετοχή NVIDIA και Snowflake. Το Rho-1 είναι έρευνα εταιρείας με εμπορικό υπόβαθρο, όχι ακαδημαϊκό release.

Serving: η άλλη μισή εξίσωση

Η Reka παραδέχεται κάτι που λίγα labs λένε φωναχτά: το ενοποιημένο μοντέλο σπάει τα κλασικά LLM serving frameworks. Τα discrete KV caches πρέπει να συνυπάρχουν στη HBM με transient continuous latent states χωρίς fragmentation, το workload πηδάει από compute-bound dense attention (visual synthesis) σε memory-bandwidth-bound decoding (κείμενο), και το interactive steering δεν συγχωρεί pipeline bubbles — νέες οδηγίες πρέπει να μπαίνουν σε κλάσματα δευτερολέπτου. Κάθε εύρημα του Rho-1 τροφοδοτεί το production serving engine του Reka Cloud. Το μήνυμα προς enterprises: το scaling του μοντέλου είναι η μισή δουλειά, η άλλη μισή είναι το runtime που το κάνει οικονομικά βιώσιμο.

60 clips, 10 domains, ένα checkpoint

Η gallery της ανακοίνωσης είναι ίσως το πιο πειστικό κομμάτι: 60 αμοντάριστα single-pass outputs σε 10 domains, από ένα checkpoint χωρίς per-domain fine-tuning — το καθένα entry point σε περιβάλλον που το μοντέλο μπορεί να προσομοιώσει, να κατευθύνει και να συνεχίσει επ' αόριστον:

Συμπέρασμα

Το Rho-1 δεν αποδεικνύει ότι ένα μοντέλο αντικαθιστά όλη τη στοίβα. Δείχνει ότι η σύμπτυξη είναι εφικτή σε μέτρια κλίμακα: 19B παράμετροι και 320 GPU για τρεις μήνες, ποσό αισθητά μικρότερο από όσο καίνε τα μεγάλα εργαστήρια σε μία εκπαίδευση. Το ερώτημα για τους επόμενους μήνες είναι αν η ποιότητα (ανάλυση, σταθερότητα, φυσικό ρομπότ) ανεβαίνει με την κλίμακα όπως ελπίζει η Reka. Αξίζει να το παρακολουθείς.

Συχνές Ερωτήσεις

Σχετικά Άρθρα & Εργαλείο