AI · Optimalizácia · Výskumné hypotézy

AI · Optimization · Research hypotheses

Refined na rozcestí AI

Refined at the AI Crossroads

Od robustného solvera k systémom, ktoré sa učia objavovať nové postupy.

From a robust solver to systems that learn to discover new strategies.

Ako ľudstvo stojíme na rozcestí smerom k RSI — rekurzívnemu sebazlepšovaniu umelej inteligencie. Veľké jazykové modely už dokážu navrhovať kód, analyzovať postupy a pomáhať pri vývoji ďalších AI systémov. Otvára sa tým možnosť, že schopnejší systém prispeje k vytvoreniu ešte lepšej verzie seba samého. Každý úspešný posun by mohol rozšíriť možnosti ďalšieho vývoja.

Pri všeobecnej triede NP-ťažkých optimalizačných problémov však samotné generovanie odpovedí nestačí na spoľahlivé riešenie. Potrebujeme presne opísaný problém, dôsledné overovanie obmedzení, merateľnú kvalitu a robustné hľadanie v priestore možností. Práve tu má svoje miesto Refined: univerzálne použiteľný koncept doménového adaptéra a výkonného jadra v Ruste.

Z tohto fungujúceho základu vychádza nasledujúca úvaha o budúcnosti. Skúma možnosti učenia, objavovania nových postupov a experimentálnych sietí, ktorých štruktúru by formovala skúsenosť. Ide o otvorené výskumné hypotézy.

RSI potrebuje kontakt s výsledkom

Sebazlepšovanie získava hodnotu vtedy, keď sa nová schopnosť prejaví vo výsledkoch. Systém môže vytvoriť tisíc variantov vlastného postupu; rozhodujúce je, či niektorý z nich dokáže vyriešiť viac úloh, dosiahnuť vyššiu kvalitu alebo účelnejšie využiť dostupný čas.

Tento smer už má experimentálne podoby. Darwin Gödel Machine skúma úpravy vlastného kódu programátorského agenta a hodnotí ich na úlohách. AlphaEvolve spája návrhy jazykových modelov s automatickým vykonaním a hodnotením algoritmov. Sú to konkrétne kroky k sebazlepšovaniu v merateľných oblastiach; nepreukazujú neobmedzenú rekurziu.

Pre optimalizáciu je takýto kontakt s výsledkom prirodzený. Trasu možno zmerať, rozvrh preveriť a náklady vypočítať. Vďaka tomu má nová myšlienka jasnú skúšku: musí obstáť v konkrétnom probléme. Solver sa tak môže stať experimentálnym prostredím, v ktorom sa nápady menia na overiteľné skúsenosti.

Priestor možností sa nedá presvedčiť

Výrobný rozvrh môže obsahovať tisíce vzájomných závislostí. Zmena jednej operácie ovplyvní ďalšie stroje, termíny aj dostupné kapacity. Pri hľadaní trasy alebo rozmiestnenia objektov vzniká podobná spleť kombinácií. Aj zadanie, ktoré sa zmestí do niekoľkých viet, môže skrývať obrovský priestor možných riešení.

Jazykový model môže pomôcť s formuláciou úlohy, navrhnúť heuristiku alebo vytvoriť program. Spoľahlivé použitie takýchto návrhov vyžaduje výpočtový systém, ktorý ich vykonáva, kontroluje a porovnáva. Dobrý solver sústreďuje obmedzený čas na sľubné možnosti a dokáže pokračovať aj tam, kde jednoduchý postup uviazne.

Rozdiel medzi ľahkým overením a náročným hľadaním patrí k jadru otvorenej otázky P verzus NP. Univerzálnosť Refinedu znamená opakovane použiteľnú architektúru pre rôzne domény. Náročnosť jednotlivých problémov zostáva zachovaná; úlohou solvera je čo najlepšie využiť ich štruktúru a dostupný výpočtový rozpočet.

Silný základ: adaptér a jadro v Ruste

Refined stojí na praktickom rozdelení úloh. Adaptér sprístupní význam konkrétneho problému: čo predstavuje riešenie, aké podmienky musí spĺňať a ako sa hodnotí. Jadro poskytne mechanizmus hľadania. Spoločné princípy optimalizácie sa tak dajú využívať pri odlišných zadaniach.

Plánovanie výroby, hľadanie trás, rozmiestňovanie objektov či herné úlohy majú rôzne reprezentácie a pravidlá. Napriek tomu v nich potrebujeme skúmať alternatívy, rozpoznávať stagnáciu, využívať dobré čiastkové výsledky a hľadať cesty k vyššej kvalite. Doménové znalosti a všeobecná schopnosť hľadania sa tu navzájom dopĺňajú.

Refined poskytuje funkčný základ pre ďalší krok: získavať z priebehu hľadania znalosti, ktoré otvoria nové spôsoby riešenia. Každý spoľahlivý objav by potom mohol rozšíriť repertoár možností pre nasledujúce hľadanie.

Keď sa z opakujúceho vzoru stane nová zručnosť

Operátor je spôsob, akým solver mení kandidátne riešenie. Ľuďmi navrhnuté operátory obsahujú nahromadené poznanie: ktoré časti problému spolu súvisia, čo sa oplatí meniť spoločne a kedy má takýto zásah význam. Zaujímavou hypotézou je, že časť podobného poznania by mohla vzniknúť zo skúseností samotného hľadania.

Predstavme si plánovač, ktorý opakovane uviazne pri skupine navzájom závislých úloh. Jednotlivé drobné zmeny nepomáhajú, no vhodná kombinácia zásahov otvorí lepšie usporiadanie. Ak systém zachytí podstatné vzťahy a rozpozná ich aj pri iných strojoch či objednávkach, môže si tým osvojiť novú zručnosť. Objav by zahŕňal aj poznanie, za akých okolností sa oplatí tento postup skúsiť.

Vzory pritom nemusia znamenať presnú zhodu. Dve úlohy môžu mať iné objekty, rozmery aj číselné hodnoty, ale podobnú štruktúru závislostí. Podstatná je podobnosť, ktorá pomáha predvídať účinok zásahu. Práve tu začína zovšeobecňovanie: skúsenosť z jednej situácie sa stáva užitočnou aj v ďalšej.

Rovnako dôležitý môže byť čas. Prípravný krok sa môže spočiatku javiť ako nevýhodný a svoj význam ukáže až v neskoršom pokračovaní. Učiaci sa systém by preto mal zachytiť súvislosti medzi celým priebehom hľadania, dosiahnutým výsledkom a spotrebovanou prácou. Často opakovaný postup a užitočný postup sú dve odlišné veci.

Sieť nemusí kopírovať dnešné dominantné architektúry

Keď hovoríme o prepojení Refinedu so sieťou, priestor možností je širší než architektúry známe z dnešných LLM. Mnohé rozšírené hlboké neurónové siete sa trénujú úpravou váh pomocou spätnej propagácie chyby, známej ako backpropagation. Samotná predstava siete však neurčuje, aké majú byť jej uzly, ako sa majú prepájať ani akým spôsobom sa má zapisovať skúsenosť.

Možno uvažovať o sieti výpočtových prvkov, ktoré si uchovávajú stav a navzájom sa ovplyvňujú. Jej aktivita by sa mohla vracať k predchádzajúcim súvislostiam, rozvíjať ich a skúšať nové kombinácie. Učenie by mohlo meniť silu spojení, vytvárať nové prepojenia alebo rozlišovať situácie, ktoré dovtedy splývali. Takáto koncepcia pripúšťa aj lokálne pravidlá učenia bez klasickej spätnej propagácie chyby.

Nová skúsenosť by v tejto predstave mohla zasiahnuť predovšetkým tú časť siete, ktorá sa na jej spracovaní podieľala. Zaujímavá by bola schopnosť rýchlo si osvojiť novú súvislosť a pritom zachovať užitočné staršie znalosti. Otvorenou otázkou zostáva, či by úspora pri jednej aktualizácii priniesla aj nižšie celkové náklady na učenie a používanie systému.

Niektoré časti tejto širšej predstavy už majú výskumné príklady. Sparse Quantized Hopfield Network skúma priebežné učenie asociatívnej pamäte pomocou lokálnych pravidiel a rastu neurónov. Metóda e-prop využíva lokálne stopy aktivity a učebné signály pri učení časových súvislostí bez spätnej propagácie cez celú časovú históriu. Tieto práce ukazujú možnosti odlišných mechanizmov učenia; ich výsledky sa týkajú skúmaných úloh, nie automatického objavovania operátorov pre Refined.

Hypotéza: skúsenosť vytvára geometriu siete

Najodvážnejšia predstava sa začína tým, že skúsenosti postupne formujú samotné prostredie budúceho výpočtu. Určité súvislosti sa začnú ľahšie vyvolávať, medzi vzdialenými poznatkami vzniknú nové prechody a opakovane užitočné dráhy sa upevnia. Geometriu takejto siete by tvorilo usporiadanie vzťahov a možností prechodu medzi jej stavmi.

Spomienka by nemusela patriť jednému uzlu. Mohla by byť rozložená v celej konfigurácii aktivity a v tom, ako sa táto aktivita vyvíja. Nová situácia by vyvolala časť známeho vzoru a sieť by z nej rozvinula súvisiace možnosti. Prekrývanie skúseností by zároveň mohlo vytvárať kombinácie, ktoré systém ešte nikdy nevyskúšal.

Uložená skúsenosť by sa tak priamo podieľala na vzniku ďalšieho nápadu. Takáto sieť by mohla súčasne slúžiť ako pamäť, priestor na rozpoznávanie vzorov aj dynamický systém navrhujúci nové smery hľadania. Užitočné vnútorné štruktúry by sa postupne vytvárali pri kontakte s problémom.

Úplné vyriešenie úlohy pritom nemusí byť jediným zdrojom učenia. Aj čiastkové zlepšenie, porušenie obmedzenia alebo opakované uviaznutie poskytuje informáciu. Najťažšie bude rozpoznať, ktorá súvislosť bola podstatná, čo bola náhoda a ktoré skoršie kroky pripravili neskorší úspech. Práve schopnosť rozlíšiť tieto situácie by rozhodovala o kvalite získanej skúsenosti.

Pre Refined by sa hodnota takejto siete prejavila vo vykonateľných zásahoch: v novom operátore, vhodnej transformácii alebo úspešnejšom pokračovaní. Solver by tieto možnosti skúšal a sieť by sa z ich dôsledkov učila objavovať ďalšie.

Ďalšie experimentálne prepojenia

Jazykové modely ako zdroj hypotéz. LLM by mohli navrhovať netradičné postupy, vysvetlenia zlyhaní alebo nové pohľady na štruktúru úlohy. Solver by poskytoval prostredie na ich overovanie. Získané výsledky by zároveň pomáhali určovať, ktoré otázky a smery sa oplatí rozvíjať ďalej.

Symbolické a presné metódy ako partneri. Niektoré časti problému možno riešiť alebo overovať presne. Ich spojenie s heuristickým hľadaním by mohlo pomáhať pri náročných fragmentoch aj pri kontrole nových nápadov. Takýto prístup by spájal pružnosť skúmania s pevnými pravidlami konkrétnej domény.

Evolučné objavovanie postupov. Priestorom hľadania sa môžu stať aj samotné stratégie. Ich variácie a kombinácie by vytvárali ďalšie možnosti, pričom užitočné objavy by slúžili ako východisko pre ďalší vývoj. Postupne by mohla vzniknúť zásoba rôznych zručností pre odlišné situácie.

Tieto možnosti možno skúmať samostatne aj spoločne. Spája ich potreba premeniť návrh na skúsenosť s reálnym problémom. Univerzálne jadro Refinedu by v takýchto experimentoch mohlo poskytovať spoločný výpočtový základ.

Od jednej skúsenosti k schopnosti objavovať

Užitočný objav môže najskôr pomôcť iba pri jednom náročnom zadaní. Aj to má praktickú hodnotu. Prenositeľná schopnosť sa ukáže vtedy, keď získaná zručnosť pomôže pri ďalších úlohách, v inom usporiadaní alebo pri inej veľkosti problému.

Ešte zaujímavejšia možnosť vzniká, keď nová zručnosť uľahčí objavovanie ďalších. Systém by postupne získaval bohatší repertoár zásahov a lepšie rozlišoval, kde sa oplatí skúmať neznáme možnosti. Každý spoľahlivý objav by tak mohol zmeniť podmienky nasledujúceho objavovania. Tu sa učenie solvera začína dotýkať myšlienky rekurzívneho sebazlepšovania.

Takýto vývoj nemusí mať podobu jediného veľkého skoku. Môže sa skladať z množstva menších schopností: rozpoznať známu prekážku, spojiť dve predchádzajúce skúsenosti alebo objaviť účinnú zmenu v situácii, kde doterajšie postupy zlyhávali.

Pokrok, ktorý sa prejaví v riešeniach

Hodnota budúceho prepojenia by sa mala prejaviť v lepších riešeniach pri porovnateľných zdrojoch, vo vyššej spoľahlivosti alebo v kratšom čase potrebnom na dosiahnutie rovnakej kvality. Do hodnotenia patrí aj cena učenia, používania pamäte a skúšania nových postupov.

Refined už má funkčný základ: adaptér a jadro v Ruste. Ďalší výskum môže smerovať k systémom, v ktorých skúsenosť rozširuje schopnosť hľadať. Ich podoba môže zahŕňať rôzne typy pamäte, učenia aj sietí, ktorých vnútorná organizácia vzniká postupne pri riešení problémov.

Na rozcestí smerom k RSI sa otvára možnosť, že každé náročné hľadanie zanechá niečo použiteľné pre budúcnosť. Jedno hľadanie by tak mohlo priniesť riešenie aj novú zručnosť — ďalší spôsob, ako sa nabudúce dostať ďalej.

Humanity stands at a crossroads on the path toward RSI — recursive self-improvement in artificial intelligence. Large language models can already propose code, analyze methods and assist in developing further AI systems. This opens the possibility that a more capable system could contribute to an even better version of itself. Each successful advance might expand the possibilities for further development.

For the general class of NP-hard optimization problems, generating answers alone is insufficient for reliable solving. We need a precisely specified problem, rigorous constraint checks, measurable quality and robust search through the space of possibilities. This is where Refined belongs: a broadly applicable concept combining a domain adapter with a powerful Rust core.

The following outlook starts from this working foundation. It explores possibilities for learning, discovering new strategies and developing experimental networks whose structure would be shaped by experience. These are open research hypotheses.

RSI needs contact with actual outcomes

Self-improvement becomes valuable when a new capability appears in the results. A system might produce a thousand variations of its own method; what matters is whether any of them can solve more tasks, achieve higher quality or use the available time more effectively.

This direction already has experimental examples. The Darwin Gödel Machine explores changes to a coding agent's own code and evaluates them on tasks. AlphaEvolve combines proposals from language models with automatic execution and evaluation of algorithms. These are concrete steps toward self-improvement in measurable domains; they do not establish unlimited recursion.

Optimization naturally offers this contact with outcomes. A route can be measured, a schedule checked and a cost calculated. A new idea therefore faces a clear challenge: it must prove useful on a concrete problem. A solver could become an experimental environment where ideas turn into verifiable experience.

The space of possibilities cannot be persuaded

A production schedule may contain thousands of dependencies. Changing one operation affects other machines, deadlines and available capacity. Routing and placement problems create similar webs of combinations. Even a task that fits into a few sentences can conceal an enormous space of possible solutions.

A language model can help formulate the problem, suggest a heuristic or create a program. Reliable use of such proposals requires a computational system that executes, checks and compares them. A good solver focuses limited time on promising possibilities and can continue when a simple method becomes stuck.

The gap between easy verification and difficult search lies at the heart of the open P versus NP question. Refined's generality means a reusable architecture across different domains. The difficulty of individual problems remains; the solver's job is to make the best use of their structure and the available computational budget.

A strong foundation: the adapter and Rust core

Refined rests on a practical division of responsibilities. The adapter exposes the meaning of a specific problem: what constitutes a solution, which conditions it must satisfy and how it is evaluated. The core provides the search mechanism. Shared principles of optimization can then be used across different tasks.

Production scheduling, routing, object placement and game problems have different representations and rules. Yet each benefits from exploring alternatives, recognizing stagnation, using good partial results and seeking paths toward better quality. Domain knowledge and general search capability complement one another here.

Refined provides a working foundation for a further step: acquiring knowledge from the course of search that opens up new ways to solve problems. Each reliable discovery could then expand the repertoire available to subsequent search.

When a recurring pattern becomes a new skill

An operator is a way for a solver to change a candidate solution. Human-designed operators contain accumulated knowledge: which parts of a problem are related, what is worth changing together and when such an intervention is useful. An interesting hypothesis is that some comparable knowledge could emerge from the experience of search itself.

Imagine a scheduler repeatedly getting stuck around a group of interdependent tasks. Individual small changes fail to help, but a suitable combination of interventions opens up a better arrangement. If the system captures the essential relationships and recognizes them with different machines or orders, it could acquire a new skill. That discovery would also include knowledge of the circumstances in which the method is worth trying.

Patterns need not mean exact matches. Two tasks may involve different objects, dimensions and numerical values while sharing a similar structure of dependencies. The relevant similarity is one that helps predict the effect of an intervention. This is where generalization begins: experience from one situation becomes useful in another.

Time may matter just as much. A preparatory step can initially look unfavorable and reveal its value only in a later continuation. A learning system would therefore need to capture relationships between the full course of search, the outcome achieved and the work consumed. A frequently repeated method and a useful method are different things.

A network need not copy today's dominant architectures

When we discuss connecting Refined to a network, the possibilities extend beyond the architectures familiar from today's LLMs. Many widely used deep neural networks are trained by adjusting weights through error backpropagation. The idea of a network itself, however, does not determine what its nodes must be, how they should connect or how experience should be recorded.

We can consider a network of computational elements that retain state and influence one another. Its activity could revisit earlier relationships, develop them and explore new combinations. Learning might alter connection strengths, create new links or distinguish situations that were previously conflated. Such a concept also allows local learning rules without conventional error backpropagation.

In this picture, a new experience might primarily affect the part of the network involved in processing it. An appealing capability would be to acquire a new relationship quickly while retaining useful older knowledge. Whether savings in an individual update would also reduce the total cost of learning and using the system remains an open question.

Some parts of this broader picture already have research examples. The Sparse Quantized Hopfield Network studies continual associative memory through local learning rules and neuron growth. E-prop uses local activity traces and learning signals to learn temporal relationships without backpropagation through the full time history. These studies demonstrate possibilities for different learning mechanisms; their findings concern the tasks examined, rather than automatic operator discovery for Refined.

Hypothesis: experience creates a network's geometry

The most ambitious idea begins with experience gradually shaping the environment for future computation itself. Some relationships become easier to activate, new transitions emerge between distant pieces of knowledge and repeatedly useful pathways become established. The geometry of such a network would consist of its relationships and the possible transitions between its states.

A memory need not belong to a single node. It could be distributed across an entire configuration of activity and the way that activity develops. A new situation might evoke part of a familiar pattern, from which the network develops related possibilities. Overlapping experiences could also create combinations the system has never tried before.

Stored experience would then participate directly in producing the next idea. Such a network could serve simultaneously as memory, a space for pattern recognition and a dynamical system proposing new search directions. Useful internal structures would gradually emerge through interaction with the problem.

Completely solving a task need not be the only source of learning. Partial improvement, a constraint violation or repeated stagnation also provides information. The hardest challenge will be to identify which relationships mattered, what was coincidence and which earlier steps prepared a later success. The ability to distinguish these situations would determine the quality of the acquired experience.

For Refined, the value of such a network would appear in executable interventions: a new operator, a suitable transformation or a more successful continuation. The solver would try these possibilities, and the network would learn from their consequences to discover more.

Further experimental connections

Language models as sources of hypotheses. LLMs could propose unconventional methods, explanations of failures or new perspectives on a task's structure. A solver could provide an environment for evaluating them. The resulting evidence could also help identify which questions and directions are worth pursuing further.

Symbolic and exact methods as partners. Some parts of a problem can be solved or checked exactly. Combining them with heuristic search could help with difficult fragments and with checking new ideas. Such an approach would bring flexible exploration together with the firm rules of a particular domain.

Evolutionary discovery of strategies. Strategies themselves can become a search space. Their variations and combinations would create further possibilities, while useful discoveries could serve as starting points for subsequent development. A collection of different skills for different situations might gradually emerge.

These possibilities can be investigated separately or together. They share the need to turn a proposal into experience with a real problem. Refined's general core could provide a common computational foundation for such experiments.

From one experience to the ability to discover

A useful discovery may initially help with just one difficult input. That alone has practical value. Transferable capability becomes visible when an acquired skill helps with further tasks, a different arrangement or a different problem size.

An even more interesting possibility arises when a new skill makes further discoveries easier. The system would gradually acquire a richer repertoire of interventions and better distinguish where unfamiliar possibilities are worth exploring. Each reliable discovery could therefore change the conditions for the next one. This is where solver learning begins to connect with recursive self-improvement.

Such development need not take the form of a single great leap. It may consist of many smaller capabilities: recognizing a familiar obstacle, connecting two earlier experiences or discovering an effective change in a situation where previous methods failed.

Progress that appears in the solutions

The value of a future connection should appear as better solutions for comparable resources, greater reliability or less time to reach the same quality. Evaluation also needs to include the cost of learning, using memory and trying new strategies.

Refined already has a working foundation: the adapter and Rust core. Further research can explore systems in which experience expands the ability to search. They may involve different forms of memory, learning and networks whose internal organization gradually emerges through solving problems.

At the crossroads toward RSI lies the possibility that every difficult search leaves something useful for the future. A single search could yield both a solution and a new skill — another way to go further next time.