Sakana AI 举办研讨会：Jürgen Schmidhuber 谈 AI 历程，并公布自研预训练模型 Sakana Sawara

【開催レポート】Sakana AIシンポジウム：Jürgen Schmidhuberが語るAIのこれまでとこれから、日本から挑む言語モデル・世界モデル・Physical AI

November 02, 2026
基調講演を行うSakana AI Chief Scientific Advisorのユルゲン・シュミットフーバー教授

2026年10月26日、Sakana AIは東京・一橋講堂でシンポジウム「From World Models to Real-World AI — 日本から拓くAIの新時代」を開催しました。9月にChief Scientific Advisorとしてお迎えしたユルゲン・シュミットフーバー（Jürgen Schmidhuber）教授は、1980年代から、最初のTransformer（正規化なし線形Transformer）、深層ニューラルネットワークの事前学習と蒸留、現代的な世界モデル、生成的・敵対的なネットワークによる人工好奇心、再帰的自己改善など、いまの深層学習と生成AIの土台となる数多くのアイデアを切り拓いてきた研究者です。20世紀で最も引用されたAI論文となった1997年のLSTM論文の共著者でもあります。教授の基調講演と、2018年に教授と論文「World Models」を共著した共同創業者兼CEOのDavid Haとの対談に、日本各地から400名を超える方にご参加いただきました。

このシンポジウムで、Sakana AIは自社による事前学習モデルの開発に乗り出すことを明らかにしました。チーフサイエンティストの秋葉拓哉が、事前学習から自社で開発する言語モデルシリーズ「Sakana Sawara（仮称）」を発表しました。最初のモデルとなる小規模な「Sawara Small（仮称）」は、順調に進めば2027年春に公開する予定です。

このシンポジウムは、Schmidhuber教授を迎えたSakana AIの意気込みをお伝えし、日本の企業や研究機関の皆さんとともにAIの次の時代を切り開いていくスタート地点として企画しました。本記事では、各講演と対談の内容を、講演録の形でお伝えします（抜粋し、読みやすさのために一部の順序を入れ替えて編集しています）。

司会を務めたSakana AI Chief of Staffの田附千絵子

オープニング：From World Models to Real-World AI：David Ha

最初に、共同創業者兼CEOのDavid Haが登壇しました。

Sakana AI CEOのDavid Ha

知能は制約から生まれる

今日着ているTシャツには、世界モデルの図がプリントされています。Schmidhuber教授が1990年に描いたものです。当時は計算のコストがいまより100万倍から10億倍も高く、論文の図も手で描いて貼り付けていました。いまではAIサイエンティストが一緒に論文を書く時代になりましたが、1980年代から90年代のイノベーションがいまにつながっていることを、ときどき思い出すのは良いことだと思います。

私がSNSでよく言っている持論に、「基盤モデルは、人類史上もっとも速く価値を失う金融資産の一つだ」というものがあります。AIのモデルをつくる会社を始めた私にとって、これは悩ましい問題です。日本は、この分野で世界とどう戦えばいいのか。

私の信念は、計算資源とデータを大量に投入してモデルを大きくし続けることだけが道ではない、というものです。知能は制約から生まれます。いまのAIは豊かさによってスケールしていますが、生物の知能は欠乏の中から生まれました。進化は、より少ない資源でより多くをなすものを選びます。脳も、言語も、文化も、制約が知能を生むことの証拠です。

10年ほど前、私はAIの研究にのめり込み、OpenAI Gymの難しい課題にいくつも挑戦していました。二足歩行ロボットの課題では、ニューラルネットワークだけでなく、ロボットの体の大きさや使うエネルギーも最小にするよう制約をかけてみました。すると、AIは虫のように歩く小さなロボットを生み出しました。では、制約をまったくなくすとどうなるか。AIが見つけたのは、脳を持たず、ゴールに向かってただ倒れ込む巨大なロボットでした。AIが脳を持つためには、制約が必要なのです。

Schmidhuber教授の論文との出会い

ピクセルから車を運転するカーレースの課題では、エージェントに世界モデルを持たせました。未来に何が起きるかを予測し、世界を潜在空間で表現できるようにしたのです。

そのとき私がしたのは、Jürgenがいつも言うように、過去の研究をさかのぼることでした。そこで出会ったのが、世界を微分可能にする1990年の論文から、2015年の「On Learning to Think」に至る、教授の世界モデルの一連の論文です。アルゴリズム情報理論から人工好奇心まで、多くの概念がまとめられていて、とても刺激を受けました。エージェントをコントローラー（C）と世界モデル（M）に分けて考える、という発想もそこで学びました。

その後、Jürgenと共同で書いたのが、NeurIPSで発表した論文「World Models」です。この論文では、エージェントが世界モデルの見る「夢」の中で学習できることを示しました。こうした考え方は、いまでは自動運転やロボティクスなど、多くのイノベーションの土台になっています。

Sakana AIの研究と、日本のAI主権

2023年、私はLlion Jones、伊藤錬とともにSakana AIを創業しました。サカナは日本語で魚のことです。知能は一匹の魚ではなく、群れにある。私たちはそう考えて、集合知のアプローチをとっています。そして、資源の限られた日本の会社として、他社と同じことはしたくありません。群れとは少し違う方向に泳ぐ、赤い魚でありたいと考えています。

「知能は一匹の魚ではなく、群れにある」と話すDavid これまでに、脳に着想を得たContinuous Thought Machines、誤差逆伝播法を使わずに1,000層のネットワークを学習するPC-ALM、今年Nature誌に掲載されたAIサイエンティスト、そしてSchmidhuber教授のゲーデルマシンの考えをLLMで実装したダーウィン・ゲーデルマシンなどの研究を発表してきました。

では、日本は世界の競争の中でどうAIをつくっていくのか。私は、日本のAI主権を3本の柱で考えています。一から技術をつくれる「事前学習」、日本の価値観に合わせる「事後学習」、そして世界のフロンティアモデルと自社のモデルを組み合わせて性能を引き出す「オーケストレーション」です。オーケストレーションではSakana Fuguを、事後学習ではSakana Namazuを提供しています。

そして最後の柱が、事前学習です。私たちは、自社のモデルの事前学習に取り組み始めます。詳しくは、このあとチーフサイエンティストの秋葉拓哉が話します。

私たちが描いているのは、エージェント・ネイティブな言語モデルと世界モデルを事前学習し、互いに連携させて難しいタスクに取り組ませ、AIサイエンティストによる自己改善のループでモデルを磨いていく計画です。この計画は、Jürgenの論文にあるコントローラーと世界モデルの構成と、大きくは変わりません。いま手に入る技術を組み合わせれば、過去の優れたアイデアを生かして、フロンティアを押し広げることができるのです。

基調講演：Jürgen Schmidhuber

続いて、Jürgen Schmidhuber教授が基調講演を行いました。

ニューラルネットワークは230年前に生まれた

Davidが1990年に私が描いた図のTシャツを着てきてくれたことを、とても誇りに思います。

現代のAIは、人工ニューラルネットワークに基づいています。脳には約1,000億個のニューロンがあり、それぞれが平均1万ほどの結合を持っています。結合の強さは最初はランダムですが、学習によって強くなったり弱くなったりします。そうして、車の運転や翻訳など、さまざまなことができるようになるのです。

では、人工ニューラルネットワークを発明したのは誰でしょうか。1940年ごろのアメリカの誰かだと思っている人もいますが、それはまったくの誤りです。発明されたのは230年前、1795年から1805年のことです。ガウスは1795年に、1990年代に「2層の線形ニューラルネットワーク」と呼ばれたものとまったく同じ仕組みを手にしていました。入力と出力をつなぐ重みを調整して、訓練データに対する二乗誤差を最小にする。当時は「最小二乗法」と呼ばれていました。最初に発表したのは、1805年のルジャンドルです。いま有名な企業が取り組んでいることの核心は、このGauss–Legendreのネットワークと同じです。主な違いは、いまのネットワークのほうが深いことです。

ちなみに、若きガウスが有名になったのは1801年、小惑星ケレスの位置を予測したときでした。観測の途中で太陽の陰に隠れたケレスが、次にどこに現れるか。ガウスはこの方法で「次のトークン」を予測し、見事に当てたのです。

日本で生まれた深層学習の源流

では、深層学習は誰がどこで発明したのか。1965年、当時のソビエト連邦のウクライナで、イヴァフネンコ（Ivakhnenko）とラパ（Lapa）が始めました。Ivakhnenkoの1971年の論文では、8層のネットワークで英国経済の時系列データから次の値を予測しています。

1967年には、日本の甘利俊一氏が、層ごとではなく全体を一度に学習する、エンドツーエンドの深層学習を示しました。計算がいまより何十億倍も高価だった時代に、5層のネットワークです。1970年にはフィンランドのリンナインマー（Linnainmaa）が、いまGoogleからSakana AIまで使っている誤差逆伝播法を発表しました。

日本からのもう一つの大きな貢献が、1979年の福島邦彦氏による最初の畳み込みニューラルネットワーク、ネオコグニトロンです。1986年には、これを手書き数字の認識に応用した有名な映像があります。1988年には、日本の研究室にいたウェイ・ジャン（Wei Zhang）氏が、福島氏の畳み込みネットワークを誤差逆伝播と組み合わせ、文字認識に応用しました。Zhang氏は1990年代に、これをさらにスケールさせています。今日のコンピュータービジョンの中核である畳み込みニューラルネットワークは、日本で発明され、さらに発展し、スケールしたものなのです。

せっかく日本に来たので、現代AIの発展においてこの国で起きた本質的な出来事を紹介したいと思いました。

ガウスから福島邦彦氏まで、現代AIの源流をたどるJürgen

1990年の世界モデルと人工好奇心

ニューラルネットワークへの私たち自身の貢献はもっと後、1990年のこの図から始まります。小さなロボットと、それを動かすコントロールネットワークがあります。入力の中には「R」と書かれたものがあります。報酬です。ロボットには痛みのセンサーがあり、自分の行動の評価を入力として受け取ります。

これは、いま「再帰的自己改善（RSI）」と呼ばれているものに欠かせない要素です。RSIとは、何かを学ぶだけでなく、学び方そのものを改善し、さらにその改善の仕方も改善していく、というように再帰的に学ぶシステムのことです。そのためには、環境からの評価の信号をネットワークに入力する必要があります。それが、この図にはすでにありました。

そこに、2つ目のネットワークを加えます。ロボットの行動と入力を見て、次に何が起きるかを予測するネットワーク、つまり世界のモデルです。良いモデルがあれば、計画を立てられます。頭の中で行動を試し、予測される報酬が多く、痛みの少ない行動を選べるのです。

しかし最初のうち、モデルは何も知りません。そこで、自ら実験を考え出す「人工科学者」が必要になります。赤ちゃんはWorld Wide Webをダウンロードして学ぶわけではありません。手を動かすと目に入る映像が変わる。その変化を予測しながら、物理を学び、リンゴが落ちることを学び、泣けば親がどう反応するかを学びます。自分の実験で、自分に必要なデータを選んで集めているのです。

私が1990年に発表した最も単純な方法では、世界モデルが誤差を最小化しようとする一方で、生成的なコントローラーは同じ誤差を最大化しようとします。モデルがまだ学べる余地のある場所を見つけると、コントローラーは報酬を得ます。世界について知らなかったことを教えてくれる実験を考え出したことへの、「エウレカ」の報酬です。多くの人がその変種を実装し、いまでは敵対的生成ネットワーク（GAN）と呼ばれていますが、私はこれを「人工好奇心」と呼んでいました。

1991年、「奇跡の年」

ただ当時は、深層学習がまだうまく動きませんでした。何千ステップも前の出来事が何千ステップ後に影響するような、長い時間差を扱えなかったのです。

そこで1991年、私たちはこの問題を解くための論文を立て続けに書きました。その成果は、いまのChatGPTの「P」と「T」につながっています。「次のものを予測する」という事前学習で長い系列を圧縮する手法。同じ論文で示した、あるネットワークの知識を別のネットワークに移す蒸留。そして、Transformerの最初の変種です。私は「Fast Weight Controller」と呼んでいましたが、いまでいう線形Transformerそのものです。2020年に「線形Transformer」と呼ばれるようになりました。線形なので、計算量はテキストの長さに比例してしか増えません。計算量が二次で増えるいまのTransformerは、テキストが1,000倍になると計算が100万倍必要になります。データセンターに巨額の投資が必要な理由の一つは、ここにあるのです。

同じ1991年、私の優秀な教え子のセップ・ホッフライター（Sepp Hochreiter）が、卒業論文で深層残差学習の原理を示しました。線形の活性化関数を持ち、自分自身への結合の重みが1.0の、とても単純なユニットを考えてみてください。誤差を時間をさかのぼって伝えても、つねに1.0を掛けるだけなので、何千ステップたっても何も変わりません。これが勾配降下法による非常に深い学習を可能にするもので、LSTMの核心です。これはのちに、2015年5月に私たちが「ハイウェイネットワーク」として発表した最初の深い残差フィードフォワードネットワーク、そしてその後の「ResNet」へとつながりました。

1991年当時、こうした研究に関心を持つ人はいませんでした。ある学会で発表したとき、聴衆は若い女性一人だけでした。「お嬢さん、気まずいけれど、今日はあなただけに話すことになりそうです」と言うと、彼女は「いいですよ。でも急いでください。次の発表者は私なんです」と答えました。それでも、コンピューターは5年ごとに10倍安くなり、いまでは当時より1,000万倍安くなりました。だからこそ、私たちが当時発表した技術は、いま皆さんのスマートフォンの中で動いているのです。

細部をシミュレーションしない計画

Davidがスライドで示したのは、より良い計画の方法です。素朴な計画は、世界モデルを使って未来をミリ秒単位でシミュレーションします。チェスや囲碁には十分ですが、本来やるべきことではありません。

ここからパリに行く計画を立てるとき、電話をつかむ手の動きまでシミュレーションする人はいません。タクシーを呼ぶ、空港に行く、チェックインする。いくつかの重要な点だけを押さえた、コンパクトな計画を立てます。

2015年に私が提案したのは、コントローラーが世界モデル（M）の隠れユニットに問い合わせを送るという方法です。Mは、YouTubeの動画をすべて見てきたかもしれないし、ロボットの経験を大量に持っているかもしれない。コントローラーは、学習するプロンプトエンジニアです。いま解きたい問題に関係のある内部表現だけに注意を向け、そこから答えを引き出して、自分の行動を変えていきます。その問い合わせは英語でも日本語でもなく、数値ベクトルの列です。単純な問題なら一から解いたほうが早いでしょう。しかし興味深い問題はどれも、巨大なモデルの奥に眠るアルゴリズム的な情報から大きな恩恵を受けるはずです。2018年には、蒸留を使ってコントローラーとモデルを一つにまとめる論文も書きました。もっとも、2018年のより有名な論文は、世界モデルが実際に役立つことを見事な実験で示したDavidの論文のほうです。

画面の外のAIへ

ここで、少し広い歴史の文脈に目を向けましょう。今日お話ししたことの多くは、ドイツと日本で起きました。

1990年、日本は未来の国のように見えていました。世界で最も価値のある企業の上位6社は、すべて日本企業でした。1995年には、日本とドイツの名目GDPを合わせると、アメリカと中国の合計にほぼ並んでいました。そして2002年当時、世界のロボットの半分以上は日本製で、2番目に多かったのはドイツでした。

いま本当にうまく動いているAIは、画面の向こう側のAIだけです。画面の向こうには、超人的なチェスプレイヤーも、碁打ちも、数学者もいます。しかし、配管工や電気技師の仕事に迫るロボットは、まだありません。サッカーボールで遊ぶ小さな男の子にできることにさえ、遠く及びません。

実世界のPhysical AIは、まだ誰のものでもありません。いま、既存のあらゆる道具や機械を、デモンストレーションと強化学習で使いこなせるロボットへの道が見え始めています。そうしたロボットが実現すれば、機械が自らを増やしていく、究極のスケーリングが可能になります。そのとき大切なのは、その国に何人の人がいるかではなく、そうした機械を持っているかどうかです。私は、日本やドイツのようにロボットに強い国がそこを先導し、かつての輝きを取り戻すことを願っています。

Physical AIの可能性について語るJürgen

未来は明るい

いまの流れは、大企業ではなく小さなプレイヤーに有利に働いています。40年前、私の知り合いのお金持ちは、ポルシェに自動車電話を積んでいて、同じような車に乗った人と衛星経由で話していました。とても高価なものでした。いまでは、世界中の誰もが、それよりはるかに優れたスマートフォンを持っています。

AIも同じです。5年ごとに10分の1の価格になり、その物理的な限界ははるか先です。誰もが多くのAIを持ち、そのAIが人々の生活を、より長く、より幸せで、より健康なものにしていくでしょう。未来は明るいのです。

LLM Development at the RSI Lab：秋葉拓哉

休憩を挟んだ後半、RSI Labの研究者による3つの講演が行われました。最初に、LLMチームを担当するチーフサイエンティストの秋葉拓哉が登壇しました。

Sakana AI Chief Scientistの秋葉拓哉

エージェントの層から、モデルの層へ

Sakana AIは2023年に創業し、私は最初期のメンバーとして入社しました。これまでさまざまなことに取り組んできましたが、その中心の一つは「エージェントの層」でした。強力なモデルがあることを前提に、それを使って面白いことをする研究です。

一つはALE-Agentです。難しい組合せ最適化のアルゴリズムを見つけるエージェントで、実際の競技プログラミングコンテストにリアルタイムで何度か参加し、人間の専門家を抑えて優勝しました。もう一つはAB-MCTSです。言語モデルを繰り返し呼び出して難しい問題を解く、推論時スケーリングの汎用的なアルゴリズムで、Sakana AIの複数の実案件にも導入されています。

エージェントの層の研究はとても楽しく、成果も上げてきました。しかし最近、モデルの層が再び魅力的になっていると感じています。最近のオープンモデルはとても強く、フロンティアモデルに迫り、実務にも十分使えるようになりました。データや学習レシピ、ソフトウェアが手に入りやすくなり、モデルをつくるコストも下がっています。

そしておそらく最も重要なのが、モデルの層での特化が有力な選択肢になったことです。エージェント型の強化学習によって、自分たちのツールや業務、スキャフォールドに合わせて、モデルをエンドツーエンドで最適化する追加学習ができます。そうして特化したモデルが、汎用のモデルを上回ることもあります。

今年、私たちはSakana Namazuをリリースしました。海外のオープンモデルを、主に日本のユーザー向けに事後学習したモデルです。地政学的なバイアスなどを軽減し、日本文化への理解を深め、日本のユーザーにとって心地よいコミュニケーションや考え方を身につけさせました。

そしてこの夏、RSI Labを立ち上げました。RSI Labには、言語モデル、世界モデル、RSI研究の3つのチームがあります。私は言語モデルのチームを担当しています。

Sakana Sawara（仮称）

新しい言語モデルシリーズ「Sakana Sawara（仮称）」を発表する秋葉拓哉 では、RSI Labでは次に何に取り組むのか。今日ご紹介するのは、新しい言語モデルシリーズ「Sakana Sawara」です。まだ仮の名前であることにご注意ください。

Sawaraは、私たちが一からつくる言語モデルです。これまでのNamazuは既存オープンモデルの事後学習に注力していましたが、Sawaraでは事前学習にまで取り組みを広げます。他のモデルをもとにしないので、学習データや学習手法などモデルのすべてを私たちが管理できます。また、ツールを使った推論やコーディング、長時間のタスクといったエージェント的な用途に向けて、最初から設計しています。私たちはこれを「エージェント・ネイティブ」な言語モデルと呼んでいます。

Sawaraには2つの役割があります。一つは、Sakana AIのプロダクトとソリューションの土台です。もう一つは、RSI研究の土台です。モデルとレシピのすべてを把握でき、あらゆるプロセスが私たちにとって透明であることが、より広い範囲のRSI研究を可能にします。

残念ながら、Sawaraはまだ開発中で、今日お話しできることは多くありません。そこで今日は、言語モデル開発について私がどう考えているか、その戦略をお話しします。

Sawaraの4つの特徴

言語モデル開発は「研究の競争」

この競争は、より多くのGPUを使う競争だという点には、多くの方が同意するでしょう。それは100%正しい。ただ、GPUは主に「スケール」のため、つまりパラメータ数や事前学習のトークン数を増やすために必要だと考えられがちです。

実はこれは誤解です。Epoch AIの分析によれば、多くの組織で、最終的な学習に使われる計算資源は全体のごく一部にすぎません。たとえばOpenAIでは、研究開発に使った計算資源のうち、最終的な学習の占める割合は約10%と推計されています。計算資源の大部分は試行錯誤、つまり研究に使われているのです。言語モデル開発は、皆さんが想像する以上に「研究の競争」だと言えます。

では、研究の競争で鍵になるのは何か。私は、言語モデルの進歩は「計算資源」と「研究効率」の掛け算だと考えています。計算資源は単純です。GPUが多ければ、より多くの実験ができます。もう一つの研究効率は、過小評価されがちですが、同じくらい重要です。結果は2つの掛け算で決まるからです。研究効率とは、一つの実験からどれだけ多くを得られるか、学べるかです。この10年の経験から、ここには研究者によって大きな差があると感じています。良い実験を設計し、できるだけ多くの情報をもたらす実験を選べる人がいるのです。

人材の密度と、大規模なAIトークン

では、いまチームの研究力を決めるものは何か。私は「人材の密度」と「AIの大規模な活用」だと考えています。いまは2023年ではなく、2026年です。私たちが2024年にAIサイエンティストを発表して以来、多くのグループがこの分野に続きました。研究が人間とAIの協働であることには、いまや誰もが同意するでしょう。そしていま、私たちは人数よりも人材の密度を重視しています。私は自分のチームに自信があります。これまで見てきた中で、最も人材の密度が高いチームだからです。

興味深いことに、この考え方はそのままRSIにつながっていきます。私たちはすでにAIを使っていますが、それはおそらく自社のモデルではありません。しかし次は、そのAIの一部がSawaraになるかもしれません。そして、Sawaraの次のバージョンは、Sawaraの助けを借りて開発されるかもしれません。RSIの定義にもよりますが、私はこれを「部分的なRSI」と呼びたいと思います。将来、Sawaraがこのプロセスのより多くを担うことを目指しています。

ロードマップ

最後に、開発のロードマップです。現在は学習の準備を進めており、この12月にSawara Small（仮称）の事前学習を始めます。順調に進めば、来春にウェイトを公開する予定です。その後、より大規模なSawara Large（仮称）の開発も計画しています。

Towards Open-Ended Autonomous Discovery Systems：Robert Tjarko Lange

続いて、RSIチームからStaff Research ScientistのRobert Tjarko Langeが登壇しました。

Staff Research ScientistのRobert Tjarko Lange

AIサイエンティストのこれまで

私が科学者としてのキャリアを始めたとき、大きな刺激を受けたものの一つが、Jürgenの学位論文でした。自らを再帰的に改良していく遺伝的アルゴリズムについての論文です。そこからメタ学習の研究を始めました。2026年のいま、私たちは大規模言語モデルという、はるかに強力な「突然変異のオペレーター」を手にし、仮説を自律的に検証できるようになりました。

科学の進歩は、社会の豊かさを支えるものです。しかしこれまでの研究は、AIの助けなしに人間だけで行われてきました。そこで私たちは2024年、言語モデルが指示に従えるようになってきたころに、AIサイエンティストv1の開発を始めました。アイデア出しから新規性の確認、実験、論文執筆、査読までの研究プロセス全体を、エージェントで自動化する設計図です。

1年後のv2では、木探索を使って研究の各段階を組み立てるようにしました。そして、AIが生成した論文が、機械学習の国際会議のワークショップで人間による査読を通過しました。この実験は、事前に倫理審査の承認を得て、ワークショップの主催者とも連携して行いました。科学のプロセスを尊重し、誠実さを保つことを、私たちはつねに大切にしています。

そして最新のv3は、Agentic Scientistとも呼んでいます。完全に自律して動くこともできますが、人間と一緒に仮説を磨いていく「共同発見」を重視した設計です。主張をすべて検証し、報酬ハッキングを減らすための仕組みも備えています。v3を使って書いた論文は、私たちがすべての主張を確認したうえで投稿し、ALIFE 2026の本会議に採択されました。

AIサイエンティストのあゆみを語るRobert

アイデアの幅を広げる

では、次は何か。いまの自動研究システムは、いわば「ステロイドを打ったハイパーパラメータ調整」です。コードを書き換えることはできても、アイデアの幅は人間の研究とは違います。ベンチマークを山登りするだけでなく、より多様な形で研究に取り組むよう、システムを方向づける必要があると考えています。

そのヒントは、Sakana AI自身の組織の中にあります。Frontier Intelligence Group（FIG）です。FIGでは、研究者が目先にとらわれない興味深い仮説を、オープンエンドに探究しています。この精神を持った、山登りに偏らないAIサイエンティストをどうつくるか。それが私たちの問いです。

人間の科学者には、生物学者もいれば、経済学者も哲学者もいます。科学全体を前に進めるには、分野ごとに適応し、自ら専門性を身につけて自身を改良していくAIサイエンティストが必要です。さらに、私自身の研究の8割は試行錯誤ですが、その多くは最終的な論文には書かれません。こうした科学研究の試行錯誤の記録は、LLMの学習データにはほとんど含まれていません。Karl Popperの反証主義のような科学の方法そのものを、AIにどう身につけさせるかを、明示的に考えていく必要があります。

そして、科学は本質的に、一人の天才の仕事ではなく、多くの人が集まって進める営みです。AIサイエンティストが集団として協働し、そこに人間も加わる世界をどうつくるか。資源や、科学的成果のクレジットをどう割り振り、貢献の意味をどう判断するかが、技術的な問いになります。

最後に、安全性は非常に重要です。しかし、その解決策はAIの進歩を止めることではなく、AIを使ってAIを安全に開発することだと考えています。たとえば、AIサイエンティストを機械的解釈可能性や思考の連鎖のモニタリングに使えば、より良いシステムが得られるだけでなく、そのシステムをより深く理解できるようになるはずです。

World Models & Physical AI：Stefania Druga／Sebastian Risi

3つ目の講演は、世界モデルとPhysical AIをテーマに、Stefania DrugaとSebastian Risiが担当しました。

Sebastian Risi（左）とStefania Druga（右）

なぜ日本でPhysical AIなのか（Stefania）

私たちがこの研究を日本で行うことにワクワクしているのは、日本がロボティクスとPhysical AIに強みを持っているからです。一方で日本には、10人に3人が65歳以上という大きな課題もあります。問題であり、同時に機会でもあります。日本のハードウェアの力と、いまのAIの学習能力を組み合わせれば、最も必要としている人たちのためのアプリケーションをつくれるはずです。

実機で試す前に、世界モデルで確かめる（Sebastian）

ロボット学習は、この10年で大きく進歩しました。それでも、家庭にロボットはいませんし、Jürgenの言うように、ロボットの配管工も電気技師もまだいません。その理由として、私は「速度」と「安全性」の2つのギャップがあると考えています。大きなLLMを使うと推論が遅く、タスクを終えるまでに時間がかかります。また、タスクに成功した場合でも、18〜28%は指示どおりに動いていません。

このギャップを埋めるために、Sakana AIが賭けているのが世界モデルです。実世界で動く前に、世界モデルで行動を確かめる。そして、改善を受け入れるのは、実機での物理的な証拠があるときだけにする。ロボットにとって、実世界での試行はとても高くつきます。だからこそ、未来を想像させてくれる世界モデルが必要なのです。

私たちの構想では、推論の速い小さな視覚言語モデル（VLM）が行動の計画を提案します。世界モデルはその計画を受け取り、数ステップ先の状態を予測し、実行可能かどうかや失敗の原因を判断し、目標にどれだけ近づくかを評価します。世界モデルで多くの計画をふるいにかけ、残った少数だけを実機で試します。そしてその結果を使ってVLMを改善します。

世界モデルと実機を組み合わせた改善のループを説明するSebastian Risi ただ、私たちが目指すのは単なる自己改善ではなく、「改善の仕方そのものが改善されていく」再帰的自己改善です。Agentic Scientistと、いま開発しているエージェント・ネイティブな言語モデル、そしてPhysical AIをつなぎ、Agentic Scientistが世界モデル自体を改良していく。実世界から得たものをAgentic Scientistに戻し、ループを閉じます。報酬ハッキングを防ぐために、評価を繰り返しても改善が再現されるか、統計的な裏付けがあるか、未知のタスクでも改善するかといった厳格な基準を設けています。また、Sakana AIのDNAである集合知を使って、RSIをより効果的に、そしてより安全にする研究も進めています。

世界モデルとPhysical AIの取り組みを紹介するStefania Druga

初期の実験から（Stefania）

世界モデルは次に何が起きるかを予測し、実験は実際に何が起きるかを教えてくれます。私たちは、その差を埋めながら再帰的に学んでいきたいと考えています。

一つ目の例は、AIロボット協会（AIRoA）と連携して、シミュレーション上のFrankaロボットで行った実験です。π0.5をファインチューニングした方策モデルは、最初は引き出しを開けることも、物を入れることもできませんでした。失敗の様子を繰り返しコントローラーに見せることで改善を重ね、これらのタスクに成功できるようになりました。次は、改善した方策が実機でも動くかを確かめます。

さらに、タスクに応じて自らの形を変えるロボットの研究も始めています。実機の映像からシミュレーションをつくり、シミュレーションで速く安く安全に探索し、見つけたコントローラーを実機で試し、その結果をまた戻す。このループを、シンプルな例で一通り回すことができました。

この考え方はロボットにとどまりません。顕微鏡とセンサーをSakanaのAgentic Scientistにつなぎ、データ収集に最適な照明条件をAIが予測し、自ら照明を変えて実験環境を整える試みも行っています。より良い実験がより良いモデルを生み、より良いモデルがより良い実験を生みます。

世界は変わりつつあります。私たちは世界をモデル化し、機械はそのモデルに適応していきます。そして人間も変わっていきます。私たちは、人と機械が安全に、豊かに共進化していく世界をつくりたいと考えています。

対談：David Ha × Jürgen Schmidhuber

最後のセッションは、David HaとJürgenの対談です。モデレーターはStefania Drugaが務めました。

対談するDavid HaとJürgen、モデレーターのStefania Druga

一通のメールから

Stefania：お二人の論文「World Models」は、どのように生まれたのでしょうか。

David：2016年のNeurIPSのワークショップで、Jürgenが「On Learning to Think」の講演をしていて、それをきっかけに世界モデルを学び始めました。その後、OpenAIのカーレースの課題に、世界モデルの一種を実装して挑みました。途中経過を教授にメールで送ったところ、一緒にきちんとした論文にしようということになり、追加の実験を重ねて、NeurIPSの口頭発表として発表しました。

Jürgen：強調しておきたいのは、すべてDavidが主導した研究だということです。口頭発表に選ばれたのは、採択論文の上位2%ほどでした。

Stefania：そのカーレースのアニメーションが付いたメールを受け取ったとき、どう思いましたか。

Jürgen：これまで受け取った中で、最も魅力的なメールの一つでした。

この8年で起きたこと

Stefania：論文から8年がたちました。世界モデルの研究はどう変わり、何に驚きましたか。

David：世界モデルのスケールは大きく進み、自動運転などにも使われるようになりました。一方で、新しさが足りないことには驚いています。人間は、コントローラーと予測器を使って、直感的にすぐ判断できます。しかしロボティクスでは、いまも計画のたびにモンテカルロ木探索のシミュレーションを回すのが主流です。AIサイエンティストを活用して、特にPhysical AIの分野で世界モデルを前に進めることが、Sakana AIでの私たちの取り組みに期待していることです。

Jürgen：最大の教訓は、とにかく辛抱強く待つことでした。コンピューターは5年ごとに10倍安くなります。数十年後には、さらに100万倍になるでしょう。今日すごいと思えることも、振り返れば取るに足らないものに見えるはずです。一方で、ロボットのハードウェアは、コンピューターほど速くは進化しません。30年前にも、日本にはかなり優れた歩くロボットがありました。いまのロボットは、当時より3倍から5倍は良くなっていますが、100万倍ではありません。Physical AIには、時間がかかるのです。

研究者に求められるもの

Stefania：エージェントによるコーディングで開発者のあり方が大きく変わり、いま科学者のあり方も変わりつつあります。この変化にどう向き合えばよいでしょうか。

David：求められる水準は上がり続けています。いま私がどこかのAI企業に応募したら、自分の会社も含めて、面接で落ちると思います。3年前、インターンに求めていたのは、アイデアを出し、実験を実装し、結果をまとめる力でした。いまではそれをAIエージェントに頼めます。だから、いまのインターンには、教授やPIのように考えることを求めています。科学者はメタ科学者のように考え、メタ科学者はメタメタ科学者のように考えることになります。

それでも、時代が変わっても残るものがあると思います。私はそれを「ビジョン」と呼んでいます。日本の例でよく挙げるのが任天堂です。任天堂は最先端の性能を追いかけず、楽しいゲームをつくるというビジョンを貫きました。最高のハードウェアでなくても、ビジョンを持ち続けたからこそ成功したのです。技術が進歩しても、自分たちのビジョンとミッションがあれば、技術を使ってそれを実現していけるはずです。

Jürgen：いま、どんな人工科学者がうまく機能しているかを見るのは興味深いことです。劇的に進歩したのは、人工数学者です。数学は演繹の科学で、公理というルールが与えられています。画面の向こう側にとどまったまま、証明を見つけるか反証するかに取り組めます。

物理学は違います。ゲームのルールがわかっていないのです。生のピクセルから、まだ知られていない新しい物理法則を引き出さなければなりません。帰納的な営みであり、演繹よりもずっと難しい。私はいつも言っているのですが、人工物理学者が初めて新しい物理法則を発見するのは、人工音楽家が初めて、人類史上の名曲100選に並ぶようなまったく新しいメロディを生み出すのと、ほぼ同じ時期になるでしょう。

対談するDavid HaとJürgen

おわりに

Jürgenが思い描いてきたAIのうち、生成AIが実現したのはおそらく半分です。自ら実験を考えて世界を理解する人工科学者や、実世界で働くPhysical AIといった残りの半分は、まだスケールには至っていません。いまのAI研究は、大規模な基盤モデルのスケールを競う米国と中国のプレイヤーに占められているようにも見えますが、その機会はむしろ巨大ラボの外にこそ開かれています。日本はその有望な場所の一つです。

Sakana AIは、海外出身の研究者と日本のトップ研究者がともに働き、日本にフロンティアAI企業をつくることを目指してきました。2026年6月に立ち上げたRSI Labでは、Sawaraをはじめとする次世代の言語モデル、AIによるAI研究、そしてそれらと組み合わせた世界モデルとPhysical AIの研究を、一挙に進めていきます。この挑戦に、Jürgenから今後も知見とインスピレーションをいただきます。

今回のシンポジウムが、日本の企業や研究機関の皆さんとともにAIの次の時代を切り開いていく、その出発点の一つとなれば幸いです。

ご来場いただいた皆さま、ありがとうございました。

Sakana AI

Sakana AIでは、RSI Labをはじめ、研究・エンジニアリング・ビジネスの各職種で一緒に挑戦する仲間を募集しています。

RSI Labについてはこちら：https://sakana.ai/rsi-lab-jp/
募集中のポジションはこちら：https://sakana.ai/careers/

English Report

[Event Report] Sakana AI Symposium: Jürgen Schmidhuber on the Past and Future of AI, and Pushing the Frontier of Language Models, World Models, and Physical AI from Japan

Professor Jürgen Schmidhuber, Chief Scientific Advisor of Sakana AI, delivering the keynote On October 26, 2026, Sakana AI hosted the symposium “From World Models to Real-World AI” at Hitotsubashi Hall in Tokyo. In September, we welcomed Professor Jürgen Schmidhuber as our Chief Scientific Advisor. Since the 1980s, he has pioneered many of the ideas underlying today’s deep learning and generative AI, including the first Transformer (the unnormalized linear Transformer), pre-training and distillation of deep neural nets, modern world models, artificial curiosity through generative and adversarial networks, and recursive self-improvement. He also co-authored the famous 1997 LSTM paper, now the most-cited AI paper of the 20th century. More than 400 people from across Japan joined us for his keynote and for a conversation with our co-founder and CEO David Ha, who co-authored the 2018 paper “World Models” with him.

At the symposium, Sakana AI announced that it is moving into pre-training its own models. Our Chief Scientist Takuya Akiba introduced “Sakana Sawara” (provisional name), a new language model series that we will build from scratch, starting with pre-training. If everything goes smoothly, the first model, a small model called “Sawara Small” (provisional name), will be released in spring 2027.

We organized this symposium to share our ambitions now that Professor Schmidhuber has joined us, and as a starting point for opening up the next era of AI together with companies and research institutions across Japan. This report presents the talks and the conversation as edited transcripts (excerpted, with some passages reordered for readability).

Contents

Chieko Tazuke, Chief of Staff at Sakana AI, who hosted the symposium

Opening: From World Models to Real-World AI | David Ha

The program opened with a talk by David Ha, co-founder and CEO of Sakana AI.

David Ha, CEO of Sakana AI

Intelligence emerges from constraints

The T-shirt I’m wearing today has a diagram of world models on it. It was drawn by Professor Jürgen Schmidhuber himself back in 1990. Back then, compute was a million to a billion times more expensive than today, and he had to hand-draw these figures and paste them into the paper. Today we have AI scientists writing papers together with us, but it’s good to be reminded of how the innovations of the 1980s and 1990s led to where we are now.

One of my hot takes on social media is that foundation models are among the fastest-depreciating financial assets in the history of mankind. As someone who started an AI company that makes these models, this is a real struggle for me. How does Japan compete with the rest of the world in this space?

One of my core beliefs is that AI development is not just about throwing more compute and data into ever-larger models. I believe intelligence emerges from constraints. Modern AI scales through abundance, but biological intelligence emerged from scarcity. Evolution selects for doing more with less. Our brains, our language, and our culture are all proof that constraints drive intelligence.

More than ten years ago, I got addicted to studying AI and took on some of the hardest tasks in OpenAI Gym. When I trained a neural network to solve the bipedal walker task, I also constrained the size of the robot and the energy it could use. With these constraints, the AI came up with a small, insect-like walker. What happens when there are no constraints at all? The AI discovered a giant robot with no brain that simply falls over toward the exit. We need constraints for our AI to actually have a brain.

Discovering Professor Schmidhuber’s papers

For the car racing task, where the agent drives from pixels, I gave the agent a world model, so that it could predict what would happen in the future and represent the world in a latent space.

As Jürgen always tells us, I went back to look at what people had done in the past. That’s how I discovered his line of papers on world models, from his 1990 paper on making the world differentiable to his 2015 paper “On Learning to Think.” I found them very inspiring. They bring together many concepts, from algorithmic information theory to artificial curiosity, and that’s where I learned to think of an agent as a controller, C, and a model, M.

I then wrote the “World Models” paper together with him, which we presented at NeurIPS. We showed that an agent can actually be trained inside the dream hallucinated by its own world model. These ideas now underpin many modern innovations, from self-driving cars to robotics.

Sakana AI’s research and AI sovereignty in Japan

In 2023, I co-founded Sakana AI with Llion Jones and Ren Ito. Sakana means fish in Japanese. We believe intelligence is not just about the individual fish; it’s the school, and we take a collective intelligence approach. As a company in Japan with limited resources, we also don’t want to do exactly what everyone else is doing. We want to be the red fish that swims a little differently from the rest.

David Ha: "Intelligence is not just an individual fish. It's the school." Our research so far includes the brain-inspired Continuous Thought Machines, PC-ALM, which trains 1,000-layer networks without backpropagation, The AI Scientist, published in Nature this year, and the Darwin Gödel Machine, which brings Jürgen’s idea of the Gödel machine to life with LLMs.

So how should Japan build AI amid global competition? I see AI sovereignty in Japan as resting on three pillars. Pre-training: the ability to develop this technology from scratch. Post-training: aligning models with our values, especially the values of Japan. And orchestration: combining our models with the frontier models produced by the rest of the world to push performance further. For orchestration we offer Sakana Fugu, and for post-training, Sakana Namazu.

The last pillar is pre-training. We will be starting to pre-train our own models, and our Chief Scientist Takuya Akiba will talk about these efforts later today.

Our plan is to pre-train an agent-native LLM and an agent-native world model, have them work together on difficult tasks, and improve them through a self-improvement loop driven by the AI Scientist. This plan doesn’t look that different from one of Professor Schmidhuber’s papers: a controller and a world model working together. With the tools available today, we can build on these great ideas from the past and push the frontier.

Keynote | Jürgen Schmidhuber

Next, Professor Jürgen Schmidhuber delivered the keynote.

Neural networks were invented 230 years ago

I’m really proud that David chose to show up in a T-shirt based on a drawing I made back in 1990.

Modern AI is based on artificial neural networks. Your brain has about 100 billion neurons, each with maybe 10,000 connections on average. At first the strengths of these connections are random, but through learning some get stronger and some get weaker. That’s how the whole system learns to drive cars, translate languages, and do all kinds of things.

Who invented artificial neural networks? Some people think it was someone in America, maybe around 1940, but that’s totally wrong. They were invented 230 years ago, between 1795 and 1805. In 1795, Gauss had exactly what was called a 2-layer linear neural network in the 1990s: weights on the connections between input and output units, adjusted so that the mean squared error on the training set is minimized. Back then it was called the method of least squares. The first to publish it was Legendre, in 1805. This Gauss–Legendre network is the core of what everybody is doing at all the famous companies today. The main difference is that today’s networks are deeper.

By the way, the young Gauss became famous in 1801 by predicting the position of the asteroid Ceres after it had disappeared behind the sun. He predicted the next token, so to speak, and he got it right.

The roots of deep learning, and Japan

Who invented deep learning? It started in 1965 in Ukraine, then part of the Soviet Union, with Ivakhnenko and Lapa. Ivakhnenko’s 1971 paper described an eight-layer network that learned to model the British economy by predicting the next value of a time series.

Then, in 1967, a Japanese researcher, Shun-ichi Amari, introduced end-to-end deep learning, with a five-layer network, at a time when compute was billions of times more expensive than today. In 1970, Seppo Linnainmaa in Finland published what is now called backpropagation, used by everyone from Google to Sakana AI.

Another great Japanese contribution came in 1979, when Kunihiko Fukushima introduced the first convolutional neural network, which he called the Neocognitron. There is a famous video from 1986 of it recognizing handwritten digits. In 1988, Wei Zhang, working at a lab in Japan, combined Fukushima’s convolutional network with backpropagation, and applied it to character recognition. Zhang also scaled it up in the 1990s. So convolutional neural networks, central to computer vision today, were invented and further developed and scaled in Japan.

Since I’m here in Japan, I wanted to point out the essential things that happened in this country in the development of modern AI.

Jürgen tracing the roots of modern AI, from Gauss to Fukushima

World models and artificial curiosity, 1990

Our own contributions to neural nets came later, starting with this picture from 1990. There’s a little robot and a control network. One of the inputs is labeled R, for reward. The robot has pain sensors, and it receives evaluations of what it is doing as input.

This is one essential ingredient of what is now called recursive self-improvement: a system that learns not only to do something, but also learns to improve the way it learns, and to improve the way it improves the way it learns, and so on, recursively. For that, the network must see the evaluations coming from the environment. That was already present back then.

Then you add a second network, which looks at the robot’s actions and inputs and tries to predict what will happen next. That’s a model of the world. With a good model, you can plan: you can run mental experiments and choose the action sequences that lead to a lot of predicted reward and little pain.

But in the beginning, the model knows nothing. That’s why you immediately need something like an artificial scientist, one that invents its own experiments. A baby does not learn by downloading the World Wide Web. If a baby moves its hand, the incoming video changes, and it learns to predict how. That’s how it learns about physics, how apples fall to the ground, how parents react when it cries. It creates its own data through self-invented experiments.

The simplest way of doing this, which I published in 1990, is to have the world model minimize its error while the generative controller tries to maximize the same error. Whenever the controller finds a corner of the environment where the model can still learn something, it gets a reward: the eureka reward for inventing an experiment that tells you something you didn’t know. Many have implemented variants of this, and today this is called a generative adversarial network. I called it artificial curiosity.

1991, the miraculous year

Back then, deep learning didn’t really work well. You couldn’t deal with long time lags, where something that happened a thousand steps ago influences something a thousand steps later.

So in 1991 we had a whole bunch of papers to solve that problem, and funny enough, they are now the P and the T in ChatGPT. Pre-training: compressing long sequences by predicting the next thing. In the same paper, distilling the knowledge of one neural network into another. And the first Transformer variant. I called it the fast weight controller, but it is exactly what was called the linear Transformer in 2020. It scales linearly. With today’s quadratically scaling Transformer, if you have 1,000 times more text, you need a million times more compute. That is one of the reasons why data centers are so expensive.

Also in 1991, my brilliant student Sepp Hochreiter introduced the principle of deep residual learning in his diploma thesis. Consider a very simple unit with a linear activation function and a connection to itself of weight 1.0. When you propagate errors back through time, you always multiply by 1.0, so nothing changes over thousands of steps. That is what enables very deep learning through gradient descent, and it’s the core of the LSTM. Later this led to the first deep residual feedforward network which we published under the name “Highway Network” in May 2015 (and then later “ResNet”).

In 1991, nobody was interested in all of this. I once gave a talk at a conference where there was only one person in the audience, a young lady. I said, “Young lady, it’s very embarrassing, but apparently today I’m going to give this talk just to you.” She said, “Okay, but please hurry, I am the next speaker.” But every five years, computers got 10 times cheaper. Today compute is 10 million times cheaper than back then, and that’s why the techniques we published back then are now on all your smartphones.

Planning without simulating every detail

What David showed in his slide refers to a better way of planning. The naive way is to use the world model to simulate the future millisecond by millisecond. That’s good enough for chess and board games, but it’s not what you should do.

When you plan a trip from here to Paris, you don’t simulate your hand grabbing the phone. You think of a few high-level things: call a taxi, go to the airport, check in. You make a compact plan and ignore the details.

What I proposed in 2015 is to let the controller send queries into the hidden units of the world model, M. M may have seen all YouTube videos, or have lots of experience with robots. The controller is a learning prompt engineer that learns to address the few internal representations relevant to the current problem, interpret the answers, and change its own behavior. These queries are not in English or Japanese; they are just sequences of number vectors. For simple problems, it’s easier to solve them from scratch, but all interesting, complicated problems will greatly profit from the algorithmic information sitting deep in this huge model. In 2018, I also wrote a paper that collapses the model and the controller into one network through distillation. But the more famous paper of 2018 is the one by David, which showed in great experiments how world models can be really useful in practice.

AI beyond the screen

Let me put all this into a broader historical context. Much of what I mentioned today happened in Germany and Japan.

In 1990, Japan seemed like the land of the future. The six most valuable companies in the world were all Japanese. In 1995, the nominal GDP of Japan and Germany together almost equaled that of America plus China. And in 2002, more than half of the world’s robots were from Japan, and the country with the second most robots was Germany.

At the moment, the only AI that works really well is AI behind the screen. Behind the screen, there is a superhuman chess player, a superhuman Go player, a superhuman mathematician. But no robot comes close to what a plumber or an electrician can do, or to what a little boy can do with a football.

Physical AI in the real world is not owned by anybody yet. We now see an opening for a robot that can learn, by demonstration and reinforcement, to operate all the existing tools and machines. Once we have that, machines can make more of themselves, and we have an ultimate scaling machine. Then it no longer matters how many people a country has; what matters is whether it has machines like that. I hope that Japan and Germany and maybe a few other robot-oriented countries will lead there, and maybe connect to former glory in this way.

Jürgen on the promise of Physical AI

The future is bright

All the existing trends are working for the little guy, not for the big companies. Forty years ago, I knew a rich guy who had a mobile phone in his Porsche, so he could talk by satellite to another guy with a similar Porsche. Super expensive. Today, everybody all over the world has a smartphone that is much, much better.

It’s going to be the same with AI. Every five years it gets 10 times cheaper, and the physical limits of this trend are still far away. Everybody is going to have lots of AIs making their lives longer, happier, and healthier. The future is bright.

LLM Development at the RSI Lab | Takuya Akiba

After a break, three researchers from Sakana AI’s RSI Lab gave talks. The RSI Lab has three teams: language models (LLM), world models, and recursive self-improvement (RSI). First up was Chief Scientist Takuya Akiba, who leads the LLM team.

Chief Scientist, Takuya Akiba

From the agent layer to the model layer

Sakana AI was founded in 2023, and I joined as one of its earliest members. I’ve worked on a variety of things, and one of our focuses has been the agent layer: assuming strong models exist, and researching how to use them to do interesting things.

One example is ALE-Agent, an agent designed to discover strong algorithms for combinatorial optimization. We entered it in live competitive programming contests, and after a few attempts, it took first place against human experts. Another is AB-MCTS, a general algorithm for inference-time scaling that calls language models repeatedly to solve very hard problems. It has been deployed in multiple real-world projects at Sakana AI.

Working at the agent layer has been fun and successful. But recently, I think the model layer has become attractive again. Recent open models are very strong, close to frontier models, and good enough for real work. Data, training recipes, and software have become more accessible, so building these models is getting cheaper.

Perhaps more importantly, specialization at the model layer has become a very attractive option. With agentic reinforcement learning, we can optimize models end-to-end for our own tools, workloads, and scaffolds, and sometimes these specialized models outperform general ones.

This year we released Sakana Namazu, a model based on an open model and post-trained mainly for Japanese users. We reduced geopolitical bias, improved its understanding of Japanese culture, and taught it ways of communicating and thinking that feel more natural to Japanese users.

Then, this summer, we launched the RSI Lab, with three teams: language models, world models, and RSI research. I represent the language model team.

Sakana Sawara

So what’s next at the RSI Lab? Today I’d like to introduce our new language model series, Sakana Sawara. Please note that this is still a provisional name.

Takuya Akiba introducing the new language model series "Sakana Sawara" (provisional name) Sawara will be our own language model series, built entirely by us from scratch. With Namazu we focused on post-training existing open models; with Sawara we are expanding into pre-training. It won’t be adapted from any other model, so we have full control over it. And it will be an agent-native language model, designed from the start for agentic workloads such as tool-integrated reasoning, coding, and long-horizon tasks.

Sawara will serve two purposes. One is to be the foundation of Sakana AI’s products and solutions. The other is to be the foundation of our RSI research. Because we have full control over the model and the recipes, and every process is fully transparent to us, it will enable RSI research with a broader scope.

Unfortunately, I don’t have much to share about Sawara yet, because it is still under development. So today I’d like to talk about how I think about language model development: my strategy.

The four features of Sawara

LLM development is a research competition

Many people would agree that this competition is about using more and more GPUs. That’s 100% true. But many also think GPUs are mainly for scaling, that is, for increasing the number of parameters or pre-training tokens.

That is actually a misunderstanding. According to Epoch AI, many groups use only a fraction of their compute for final training runs. At OpenAI, for example, final training runs are estimated to have accounted for only about 10% of R&D compute. A large share goes into trial and error, in other words, research. Language model development is more of a research competition than you might imagine.

So what are the key factors in this competition? I’d say progress is the product of two things: compute and research efficiency. Compute is simple. More GPUs means more experiments.

Research efficiency is underestimated, but it’s equally important, because the result is the product of the two. It’s about how much we can learn from each experiment. Over the past ten years, I’ve seen a huge difference here between researchers. Some people are very good at designing experiments that give us as much information as possible.

Talent density and AI tokens at scale

What drives a team’s research capability today? I’d say talent density and AI tokens at scale. It’s 2026, not 2023. Since we published the AI Scientist in 2024, many groups have followed, and everyone now agrees that research is a collaboration between humans and AI. We emphasize talent density over headcount, and I’m confident in my team. It’s the most talent-dense team I have ever seen.

Interestingly, this way of thinking leads continuously to RSI. We are already using AI, but it’s probably not our own models. Next time, some part of that AI could be Sawara. Then the next version of Sawara could be developed with the help of Sawara. It depends on how you define RSI, but I’d call this fractional RSI. Hopefully, in the future, Sawara will take on more and more of this process.

Roadmap

Finally, our roadmap. We are now preparing for training, and we will start pre-training Sawara Small (provisional name) this December. If everything goes smoothly, we will release the weights next spring. We also plan to develop a larger model, Sawara Large (provisional name).

Towards Open-Ended Autonomous Discovery Systems | Robert Tjarko Lange

Next, Staff Research Scientist Robert Tjarko Lange spoke on behalf of the RSI team.

Robert Tjarko Lange on Open-Ended Autonomous Discovery Systems

The AI Scientist so far

When I started my scientific career, one of my big inspirations was Jürgen’s diploma thesis, on genetic algorithms that recursively refine themselves. That’s how I started working on meta-learning. Today, in 2026, we have much more powerful mutation operators in the form of large language models, which let us autonomously test new hypotheses.

Scientific progress drives prosperity, but so far most research has been done purely by humans, without AI assistance. So in 2024, as language models began to follow instructions well, we started building the AI Scientist v1, a blueprint for automating the entire research pipeline with agents, from ideation and novelty checks to experiments, paper writing, and review.

A year later, with v2, we used tree search to orchestrate the stages of the research pipeline, and a paper it generated passed human peer review at a machine learning conference workshop. We obtained ethics approval in advance and communicated closely with the workshop organizers, because we always want to respect the scientific process and maintain integrity.

Our latest version, v3, also called the Agentic Scientist, can still run fully autonomously, but it is designed for co-discovery, so that humans can work with it to refine hypotheses. It verifies all claims, runs ablations, and aims to reduce reward hacking. We used v3 to write another paper, which we submitted after checking all the claims ourselves, and it was accepted as a main conference paper at ALIFE 2026.

Robert on the milestones of the AI Scientist

Broadening the ideation radius

So what’s next? Many auto-research systems today are a bit like hyperparameter tuning on steroids. They can rewrite code, but their ideation radius is not how humans do research. We need to move beyond hill-climbing benchmarks and push these systems to do research in a much more diverse way.

For inspiration, we can look at Sakana AI’s own structure: the Frontier Intelligence Group (FIG), where researchers explore interesting, long-horizon hypotheses in an open-ended way. How can we build AI scientists in that spirit, less hill-climbed?

Human scientists are biologists, economists, and philosophers. To advance science holistically, we need AI scientists that adapt to different disciplines, gather their own expertise, and improve themselves. Additionally, 80% of my own scientific process is trial and error that never makes it into the final paper. These scientific research traces are largely absent from the LLM training process. We need to explicitly think about how AI systems can internalize the scientific method itself, drawing on ideas like Karl Popper’s falsificationism.

Science is inherently a collective endeavor, not a lone genius in a corner. How do we build a world where AI scientists collaborate collectively, and where humans are part of that process too? The technical questions become how to allocate resources, how to assign credit to scientific results, and how to judge whether a contribution is meaningful.

Finally, safety is really important. But I think the solution is not to stop AI progress, but to use AI to develop AI safely. Applying AI scientists to areas like mechanistic interpretability or chain-of-thought monitoring can give us not only better systems, but also a better understanding of them.

World Models & Physical AI | Stefania Druga / Sebastian Risi

The third talk, on world models and Physical AI, was given by Stefania Druga and Sebastian Risi.

Why Physical AI in Japan (Stefania)

We are very excited to do this work in Japan, because Japan excels at robotics and Physical AI. At the same time, Japan faces big challenges: three out of ten people are over 65. That is both a problem and an opportunity. If we combine the hardware capabilities here with what AI can learn today, we can create better applications for the people who need them most.

Sebastian Risi (left) and Stefania Druga (right)

Check with a world model before acting in the real world (Sebastian)

Robot learning has made great progress over the past ten years. But we still don’t see robots in our households, and as Jürgen said, we don’t have robot plumbers or electricians yet. I think two gaps remain: speed and safety. Approaches that use big LLMs are slow at inference. And even when tasks succeed, 18 to 28% of episodes don’t follow the instructions exactly.

Our bet at Sakana for closing these gaps is world models. You check actions with a world model before performing them in the real world, and you only accept improvements backed by actual physical evidence. Physical trials are very costly, so robots need a world model that lets them imagine potential futures.

In our architecture, a small vision-language model (VLM), which allows fast inference, proposes plans. The world model takes these plans, predicts states several steps ahead, judges feasibility and causes of failure, and scores how close the plan gets to the goal. Many plans are filtered out by the world model, only a few are tried on real hardware, and the results are used to improve the VLM.

Sebastian explaining the improvement loop that combines world models and real hardware But what we want is recursive self-improvement: a system that not only gets better, but gets better at getting better. We connect the Agentic Scientist, the agent-native LLM we are developing, and Physical AI, so that the Agentic Scientist can improve the world model itself, and we feed what we learn from the real world back into the Agentic Scientist to close the loop. To avoid reward hacking, we use a frozen gate with strict criteria: repeated gains across evaluations, statistical evidence, and gains on held-out tasks. And building on collective intelligence, which is in Sakana’s DNA, we are also working on making RSI more effective and safer.

Stefania presenting early experiments in world models and Physical AI

Early experiments (Stefania)

A world model predicts what’s next, but an experiment tells us what actually happens. We want to close the gap between the two and learn recursively.

In our first example, in partnership with AIRoA (AI Robot Association), we took a fine-tuned π0.5 policy and tested it in simulation on a Franka robot. At first, the robot couldn’t open a drawer or place objects in it. By repeatedly showing the controller where it failed, we improved it until the robot succeeded. The next step is to test the improved policy in the real world.

We have also started working on robots that change their own morphology depending on the task. We create simulations from real robot videos, explore in simulation, which is faster, cheaper, and safer, test the resulting controller on the physical robot, and feed the results back. In a simple example, we went through this entire loop.

This doesn’t stop at robotics. I connected a microscope and a set of sensors to Sakana’s Agentic Scientist (v3) to forecast the best lighting conditions for collecting data, and then let the system change the lighting itself. Better experiments lead to better models, and better models lead to better experiments.

The world is changing. We are modeling the world, machines are adapting to the world we are modeling, and people are changing as well. We want to design a world where people and machines co-evolve in safe and flourishing ways.

Fireside Chat | David Ha × Jürgen Schmidhuber

The final session was a conversation between David Ha and Jürgen, moderated by Stefania Druga.

David Ha and Jürgen in conversation, moderated by Stefania Druga

It started with an email

Stefania: How did your “World Models” paper come about?

David: I was at the NeurIPS 2016 Deep RL workshop, where Jürgen was giving a talk on his paper “On Learning to Think.” That inspired me to learn more about world models. Then I tried to win OpenAI’s car racing task and implemented one of the world model variants. I sent Jürgen my preliminary results, we agreed to turn it into a proper paper with additional experiments, and we presented it at NeurIPS as an oral presentation.

Jürgen: You really have to emphasize that this was all driven by David. And it was not just an oral; it was among the top 2% or so of accepted papers.

Stefania: What did you think when you received that email with the car animation?

Jürgen: It was one of the most charming emails I’ve ever gotten.

Eight years on

Stefania: It has been eight years since the paper. How has research on world models evolved, and what surprised you?

David: We’re seeing tremendous progress in scaling up world models; they’re now used in self-driving cars. But I’m surprised by the lack of novelty. Humans can arrive at a decision intuitively, with a controller working together with a predictor. Yet in robotics, everyone still seems to run Monte Carlo tree search simulations at every planning step. That’s where I hope our work at Sakana AI, leveraging AI scientists, can help advance world models, especially in Physical AI.

Jürgen: The main lesson was: just be patient. Every five years, computers get 10 times cheaper. In a couple of decades we will have another factor of a million, and everything that seems impressive today will seem trivial in hindsight. On the other hand, physical robots don’t evolve as quickly as computers. Thirty years ago, there were pretty decent walking robots in Japan. Today’s robots are maybe three to five times better, not a million times better. Physical AI is a slow game.

What it takes to be a researcher now

Stefania: Agentic coding has shifted developers’ identity, and now we’re seeing the same with scientists. How should people deal with this change?

David: The baseline keeps moving higher. If I applied for a job at any AI company today, including our own, I’d probably fail the interview. Three years ago, we looked for interns who could come up with ideas, implement experiments, and collect results. Now you can ask an AI agent to do that, so we expect interns to think like a professor or a PI. Scientists have to think like meta-scientists, and meta-scientists like meta-meta-scientists. It’s turtles all the way down.

But there’s one thing I believe will stand the test of time, and I like to call it vision. An example I often bring up in Japan is Nintendo. Nintendo didn’t chase state-of-the-art performance. They stayed true to their vision of creating fun games, and they didn’t need the best hardware to succeed. As long as we have our own vision and mission, we can use technology to achieve it as the technology improves.

Jürgen: It’s interesting to see which kinds of artificial scientists are working. The one that has improved dramatically is the artificial mathematician. Mathematics is deductive: the rules are given as axioms, and you can stay behind the screen and search for a proof or a disproof.

Physics is very different. You don’t know the rules of the game. You have to take the raw pixels coming at you and distill a new physical law that wasn’t known before. That’s induction, and it’s much harder. I always claim that the first time an artificial physicist discovers a new physical law will be roughly the same time an artificial musician first creates a melody as good as one of the 100 best melodies in human history.

David Ha and Jürgen during the fireside chat

Closing

Perhaps half of the AI Jürgen has envisioned has been realized through generative AI. The other half, such as artificial scientists that invent their own experiments to understand the world, and Physical AI that works in the real world, has yet to scale. AI research today may look dominated by US and Chinese players competing to scale ever-larger foundation models, but this opportunity is open, perhaps even more so, outside the big labs. Japan is one of the most promising places to pursue it.

Sakana AI was founded to build a frontier AI company in Japan, bringing together researchers from around the world and top researchers from Japan. At the RSI Lab, launched in June 2026, we are pursuing next-generation language models starting with Sawara, AI-driven AI research, and, combined with these, research on world models and Physical AI, all at once. Jürgen will continue to provide insight and inspiration for this challenge.

We hope this symposium will be one of the starting points for opening up the next era of AI, together with companies and research institutions across Japan.

Thank you to everyone who joined us.

Sakana AI

Sakana AI is hiring across research, engineering, and business, including at the RSI Lab.

Learn more about the RSI Lab: https://sakana.ai/rsi-lab/
Open positions: https://sakana.ai/careers/