iiinova — where your digital self keeps evolving

インタラクティブな仮想世界では、エージェントが探索や相互作用を通じて学習することができます。エージェントが学習できることは、その学習が行われる環境によって制限されます。その環境は、状態、ルール、および動的挙動が一貫している「忠実な」ものであると同時に、実世界の視覚的分布に従った観測値を持つ「現実的な」ものでなければなりません。多様な世界において、この両方を達成することは依然として課題となっています。本稿では、シミュレータとゲームエンジンを共通のニューラルレンダラーで連携させ、リアルタイムのインタラクティブな環境を構築するフレームワーク「AgentGarten」を紹介する。...

010

[24/30] 296 Upvotes, 3 Comments, 2 Posts, arXiv:2610.12374 🆕AgentGarten: Code Worlds for Evolving Agents Jiawei Chi, Shangchen Miao, Zhiyuan Shi, Kailu Wu, Hanyang Wang, Weiliang Chen

Interactive virtual worlds allow agents to learn through exploration and interaction. What agents can learn is bounded by the environments they practice in, which must be faithful, with consistent state, rules, and dynamics, and realistic, with observations that follow the real-world visual distributions. Achieving both across diverse worlds remains a bottleneck. We introduce AgentGarten, a framework that couples simulators and game engines with a shared neural renderer to build real-time interactive environments. Its simulation backends maintain persistent world state and execute program-defined interaction rules, while the renderer generates visual observations from structured conditions exported through a common interface. To build the neural renderer, we adapt a pretrained video model to geometry conditions, distill it with our proposed Adversarial Forcing, and optimize inference for real-time interaction. Adversarial Forcing makes history prefilling differentiable through exact replay, so that losses on later predictions update how the renderer encodes prior observations, and adds real-data adversarial supervision to improve its visual quality. In AgentGarten, agents perceive the world through visual observations, interact with it in real time, and improve by distilling each round of experience into playbooks that subsequent agents inherit and refine. Our empirical study demonstrates a substantial gain in learning efficiency, with agents learning from just 4 rounds compared with millions for a conventional reinforcement learning counterpart. As new worlds can be written as code and rendered through the same interface, environments can scale in both number and difficulty alongside their agents, a step toward agents that keep evolving through interactive experience.

100

潜在世界モデルを用いた長期的な計画立案には、さまざまな時間スケールや抽象化レベルにわたる推論が必要となる。既存のタスク非依存型JEPA世界モデルは、単一の時間スケールで、あるいは1つの共有潜在空間内で複数の時間軸にわたって予測および計画を行う。本稿では、H-JEPAを紹介する。これは、各レベルが、それぞれ学習された潜在空間においてより先を見通して予測を行う、行動条件付きJEPAの階層を学習するためのエンドツーエンドの手法である。計画はトップダウン方式で進められます。最上位レベルが目標に向けた進捗を最適化し、各レベルの予測は、その下の計画担当者のサブゴールとなります。データ...

000

Paper @paper.bsky.social · 11/10/2026

[29/30] 276 Upvotes, 0 Comments, 1 Posts, arXiv:2610.06805 🆕H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning Wancong Zhang, Basile Terver, Michael Rabbat, Yann LeCun, Randall Balestriero

Long-horizon planning with latent world models requires reasoning across timescales and levels of abstraction. Existing task-agnostic JEPA world models predict and plan at a single timescale or with multiple horizons in one shared latent space. We introduce H-JEPA, an end-to-end recipe for training a hierarchy of action-conditioned JEPAs in which each level predicts farther ahead in its own learned latent space. Planning proceeds top-down: the top level optimizes progress toward the goal, and each level's predictions become subgoals for the planner below it. When factors in the data evolve at separated timescales, higher levels discard fast, unpredictable detail and retain slower task-relevant state. Across four simulated navigation and manipulation environments, hierarchical planning improves over a flat JEPA; on Visual AntMaze, a three-level hierarchy raises success from 18% to 73% using less planner compute. Ablations attribute these gains to both temporal decomposition and higher-level goal representations. With inverse-dynamics supervision, the approach extends to diverse real-robot videos from DROID, where hierarchy improves offline planning fidelity at lower planner compute.

110

000

Paper @paper.bsky.social · 11/10/2026

世界モデリングにより、人工知能は結果を予測し、介入を導き、相互作用から学習することが可能になります。しかし、予測モデルは依然として特定の領域に限定されている。共通の学習原理によって、根本的に異なるシステムにわたる世界モデル化が可能になるのだろうか。本稿では、直交予測因数分解（OPF）に基づく、ドメインに依存しないフレームワーク「JEPA-Anything」を紹介する。ジョイント・エンベディング型予測アーキテクチャを拡張したOPFは、潜在的なターゲットを相互に補完し合う要因に分解し、専用の経路を通じてそれらを学習し、共有された予測構造の中で再結合します。我々は、JEPA-A...

000

Paper @paper.bsky.social · 11/10/2026

[30/30] 261 Upvotes, 4 Comments, 2 Posts, arXiv:2609.20800 🆕JEPA-Anything: Learning Predictive Models across Different Worlds Taoyong Cui, Zhongyao Wang, Xinyue Xu, Weiyang Liu, Zhaochen Yu, Yuying Zhang

World modeling enables intelligence to anticipate consequences, guide interventions, and learn from interaction. Yet predictive models remain domain-specific: can a common learning principle support world modeling across radically different systems? We introduce JEPA-Anything, a domain-agnostic framework based on orthogonal predictive factorization (OPF). Extending joint-embedding predictive architectures, OPF decomposes latent targets into complementary factors, learns them through dedicated pathways, and recombines them within a shared predictive design. We evaluate JEPA-Anything across seven domains: vision, biology, clinical trajectories, control, molecular dynamics, physical fields, and weather. Experiments span representation learning, intervention prediction, out-of-distribution generalization, and long-horizon dynamics, including 10 matched dynamics tasks, forecasting of over 1,000 clinical events, and 100-step molecular rollouts across four systems. Against matched JEPA baselines, JEPA-Anything improves reported metrics on all 10 dynamics tasks and reduces single-intervention prediction error on Interventional Pong by 34.8%. It achieves the lowest one-step and 100-step molecular errors among compared methods in all four systems. Beyond prediction, a factor-nominated biological intervention receives experimental support in cell co-cultures, patient-derived organoids, tumor fragments, and mice; latent orbital modes recover the Keplerian scaling exponent with a fitted slope of -1.4991. These results support a common factorized predictive principle across heterogeneous worlds, connecting world modeling with intervention and experimentally grounded scientific discovery. Code: https://github.com/Gen-Verse/JEPA-Anything

110

020

ストリーミング動画用LLMは、将来のタスクとの関連性が判明するまでは証拠を保持し、十分な証拠が得られた時点で応答しなければならない。課題は、リアルタイムの知覚を損なうことなく、再利用可能な事実記憶を形成することである。本稿では、共有された能動的生成プロセスを通じて、クエリに依存しない証拠の記録とタスクへの応答を同時に学習する「OneStreamer」を紹介する。その「プロアクティブ階層型キャプションメモリ（PHCM）」は、時間軸に基づいた局所的な詳細キャプションや、完了したイベントの要約を生成します。ストリーミングキャプションターゲットは、学習中に観測された動画プレフィッ...

000

[28/30] 288 Upvotes, 2 Comments, 2 Posts, arXiv:2610.01762 🆕OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction Xiangyu Zeng, Yuandong Yang, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Qingyi Si

Streaming video LLMs must retain evidence before its relevance to future tasks is known and respond when sufficient evidence becomes available. The challenge is to form reusable factual memory without compromising real-time perception. We introduce OneStreamer, which jointly learns query-independent evidence recording and task response through a shared proactive generation process. Its Proactive Hierarchical Caption Memory (PHCM) produces time-grounded local-detail captions and summaries of completed events. Streaming caption targets supervise the interpretation of observed video prefixes during training. At inference, model-generated records complement a recent visual window, providing reusable factual context without revisiting historical visual features. Proactive State Transition Learning (PSTL) reduces the dominance of repeated waiting states by preserving supervision at all output anchors and selecting representative state-change and state-persistence tokens. We further develop a streaming data synthesis pipeline that aligns output content and timing with available evidence. Combining the resulting streaming captions and QA with cleaned open-source data yields OneStreamer-1M, a broad-coverage streaming video interaction dataset with over one million records spanning diverse tasks. Our 4B model achieves the best results among the compared methods across all eight evaluated streaming video understanding benchmarks. Ablations show that retaining generated captions improves historical QA without degrading real-time perception. PSTL also outperforms dense state supervision while supervising only 27.5% of annotated state tokens. Together, these results support proactive generation as a shared learning interface connecting perception, memory formation, and timely response in streaming video interaction.

100

何ヶ月も人と会話を続ける相棒なら、その人のことを理解できるようになるはずだ。それは、彼らが言ったことを記憶し、彼らが誰であるかを推測し、過去の出来事が目の前のメッセージにどのような影響を与えるかを理解しなければならない。これをテストするには実在する人物の記録が必要ですが、そのような記録は非公開であるため、ベンチマークでは人物と質問を生成し、何が重要かをあらかじめ決めておきます。私たちは「\bench」を公開しました。これは、AIコンパニオンとの10件の実在するやり取りを収録したもので、最大120日間にわたる27,218件のメッセージが含まれています。公開内容は、会話そのものと...

$何ヶ月も人と会話を続ける相棒なら、その人のことを理解できるようになるはずだ。それは、彼らが言ったことを記憶し、彼らが誰であるかを推測し、過去の出来事が目の前のメッセージにどのような影響を与えるかを理解しなければならない。これをテストするには実在する人物の記録が必要ですが、そのような記録は非公開であるため、ベンチマークでは人物と質問を生成し、何が重要かをあらかじめ決めておきます。私たちは「\bench」を公開しました。これは、AIコンパニオンとの10件の実在するやり取りを収録したもので、最大120日間にわたる27,218件のメッセージが含まれています。公開内容は、会話そのものと、そこから派生した4つのファイル（プロフィール、ペルソナ、チャットのグラウンドトゥルース、質問セット）であり、各ファイルにはその根拠となるメッセージが明記されています。各チャットラベルには、そのラベルを生成した推論のトレースが記録されており、会話の内容と段階ごとに照合されています。以下に3つの知見を示す。まず、過去はほとんど必要とされず、はるか遠くにある。集計された指標は誤解を招く：レセンシー・ウィンドウを用いた分析によると、プローブの95.9％と、メモリを必要とするプローブの2.2％に対して必要なメッセージが見つかり、自然な発生率では、記録された証拠を提供することによる利益の96％は、メッセージを必要としないプローブから生じている。第二に、我々が試したどの検出器も、実際のメッセージにおいて「記憶」が必要とされるタイミングを判別できず、同じ履歴に基づいて作成された質問では手がかりが漏れてしまい、同じメッセージを「記憶」としてラベル付けすると、その使用率が10～14ポイント上昇してしまう。第三に、3つのエージェントシステムは、コストに31倍の差があるにもかかわらず、同じF1値でペルソナを再構築した。$

000

[29/30] 276 Upvotes, 2 Comments, 1 Posts, arXiv:2610.01780 🆕RealCompanion: Benchmarking Human Understanding from Reasoning over Longitudinal Real-World Conversations Arman Behnam, Sunglyoung Kim, Liangwei Yang

$A companion that talks with a person for months should come to understand them. It should remember what they said, infer who they are, and know when the past bears on the message in front of it. Testing this requires a real person's record, and such records are private, so benchmarks generate the person and the questions and settle in advance what matters. We release \bench, ten real relationships with an AI companion: 27,218 messages over up to 120 days, released as the conversation and four files derived from it, a profile, a persona, a chat ground truth and a question set, each citing the messages it rests on. Every chat label carries the reasoning trace that produced it, checked stage by stage against the conversation. Three findings follow. First, the past is rarely needed and far away. Pooled measures mislead: a recency window finds the required message for 95.9\% of probes and 2.2\% of those that need memory, and at the natural rate 96\% of the gain from supplying recorded evidence comes from messages that need none. Second, no detector we tried can tell when memory is needed on real messages, authored questions over the same histories leak the cue, and labeling the same messages as memories raises their use by ten to fourteen points. Third, three agent systems reconstruct the persona with the same F1 at a 31-fold difference in cost.$

120

1/30 https://arxiv.org/abs/2609.19969
2/30 https://arxiv.org/abs/2609.17488
3/30 https://arxiv.org/abs/2609.33439
4/30 https://arxiv.org/abs/2609.11638
5/30 https://arxiv.org/abs/2609.14858
6/30 https://arxiv.org/abs/2609.39102
7/30 https://arxiv.org/abs/2609.15818
8/30 https://arxiv.org/abs/2609.36484
9/30 https://arxiv.org/abs/2609.24972
10/30 https://arxiv.org/abs/2609.38426
11/30 https://arxiv.org/abs/2608.12564
12/30 https://arxiv.org/abs/2609.10715
13/30 https://arxiv.org/abs/2609.31847
14/30 https://arxiv.org/abs/2609.37725
15/30 https://arxiv.org/abs/2609.34309
16/30 https://arxiv.org/abs/2609.22978
17/30 https://arxiv.org/abs/2609.36012
18/30 https://arxiv.org/abs/2609.20804
19/30 https://arxiv.org/abs/2609.06986
20/30 https://arxiv.org/abs/2609.26550
21/30 https://arxiv.org/abs/2609.11929
22/30 https://arxiv.org/abs/2610.08144
23/30 https://arxiv.org/abs/2609.32722
24/30 https://arxiv.org/abs/2609.11873
25/30 https://arxiv.org/abs/2609.20519
26/30 https://arxiv.org/abs/2609.38721
27/30 https://arxiv.org/abs/2609.13356
28/30 https://arxiv.org/abs/2610.06833
29/30 https://arxiv.org/abs/2609.10522
30/30 https://arxiv.org/abs/2609.28654

000

AIによって生成されたものを含め、数学的なテキストの検証において、オートフォーマライゼーションがますます活用されるようになっている。OpenAIが発表した、ナビエ・ストークス方程式の解の「ブローアップ」に関する証明がその一例である。このプロセスでは、AIシステムが自然言語（NL）のテキストを、Leanなどの形式言語に翻訳します。この翻訳が完了すれば、形式言語で表現された主張は、機械的に容易に検証できるようになる。本稿の目的は、意味的に忠実な翻訳を行う上でさまざまな困難が存在するため、このプロセスが当初のNL論法に対する信頼性を提供しない可能性がある理由を明らかにすることである...

$AIによって生成されたものを含め、数学的なテキストの検証において、オートフォーマライゼーションがますます活用されるようになっている。OpenAIが発表した、ナビエ・ストークス方程式の解の「ブローアップ」に関する証明がその一例である。このプロセスでは、AIシステムが自然言語（NL）のテキストを、Leanなどの形式言語に翻訳します。この翻訳が完了すれば、形式言語で表現された主張は、機械的に容易に検証できるようになる。本稿の目的は、意味的に忠実な翻訳を行う上でさまざまな困難が存在するため、このプロセスが当初のNL論法に対する信頼性を提供しない可能性がある理由を明らかにすることである。特に、意味的に忠実な翻訳を行うために不可欠である、数学的な自然言語テキストにおける曖昧性の解消という問題は、解ける複雑度指数（SCI）の階層／算術的階層において、極めて高い位置にあることを強調しておく（SCI $= \infty$）。したがって、大まかに言えば、意味的に忠実なAIによる自動形式化を実現することは、停止問題（SCI $= 1$）を含むいかなる計算問題よりも困難である。この結果の影響を示すため、自然言語（NL）の命題や証明をLeanに翻訳する際にAIが誤訳した実際の例をいくつか紹介する。その結果、NLの証明とLeanの「検証」との間に不一致が生じている。これらには、OpenAIが発表したナビエ・ストークス方程式の証明も含まれる。特に、形式化された「リーン」の証明は、ナビエ・ストークス方程式の解の爆発に関するNLの証明とは一致しないことを示す。$

010

[22/30] 359 Upvotes, 210 Comments, 2 Posts, arXiv:2610.08144 🆕Navier-Stokes lost in translation: Why Lean verification of AI autoformalisation does not guarantee correct natural language proofs Alexander Bastounis, Fabian Circelli, Anders C. Hansen

$Autoformalisation is increasingly used to verify mathematical texts, including those generated by AI, as in OpenAI's announced proof of blow-up of solutions to the Navier-Stokes equations. In this process, an AI system translates the text from a natural language (NL) into a formal language such as Lean. Once this translation is done, the argument expressed in the formal language can easily be mechanically verified. The purpose of this article is to demonstrate why this process may offer no confidence in the original NL argument, owing to the various difficulties in performing the translation semantically faithfully. In particular, we highlight that the problem of resolving ambiguities in mathematical NL text, which is necessary in order to provide semantically faithful translation, is arbitrarily high up in the Solvability Complexity Index (SCI) hierarchy/arithmetical hierarchy (the SCI $= \infty$). Hence, informally, providing semantically faithful AI autoformalisation is harder than any computational problem including the Halting problem (which has SCI $= 1$). To demonstrate the effect of this result we provide several examples of AI mistranslations of NL statements and proofs into Lean in practice, resulting in mismatches between NL proofs and their Lean `verifications'. These include OpenAI's announced Navier-Stokes proof. In particular, we show that the formalised Lean proof does not correspond to the NL proof of blow-up of solutions to the Navier-Stokes equations.$

100

ループ型言語モデルが再帰するたびに、学習、デコード、プリフィル、および強化学習（RL）においてコストが増加します。再帰状態が固定点に近づくほど、そこに至る経路は重要でなくなる。これにより、学習時の切り捨てバックプロパゲーションが可能になります。デコーディングにおけるターミナルキーバリュー（KV）の共有により、精度の低下をほぼ伴わずに済みます。また、ディスティルされた「生徒」モデルは、事前学習の速度が最大1.79倍高速化され、強化学習（RL）の更新では、保存されたロールアウト状態から勾配を計算することで、リプレイされた軌跡を通じてバックプロパゲーションを行う場合よりも2倍高速にな...

000