I’m excited to share our new paper: “Metacognition of ChatGPT in confidence judgements” Yoshizawa S, Onzo A, Nozawa S, Takano T, Ishikawa T and Mogi K (2026) Metacognition of ChatGPT in confidence judgements. Front. Artif. Intell. 9:1694192. doi.org/10.3389/frai.2026.16…

Major update to my list of AI alignment resources: vkrakovna.wordpress.com/ai-s…. If you're looking for high-level overviews or technical papers in AI alignment and control, check it out :).

Is AI welfare only an ethical issue? New paper from me, @jamiemjohnson23, @psyonp and @DavidDAfrica arguing that it's also a safety one. [1/12]

シャノンは通信の送り手と受け手の間のコードブック共有を前提に通信理論を築き，通信の意味論的側面を切り捨てました。では学習済みVAEのエンコーダとデコーダは同じコードブックを共有しているのか？再構成が完璧でも，標準的な学習指標では判定できないことを証明しました alphaxiv.org/abs/2610.14012

Perfect reconstruction can't show whether codes read off a VAE's latent space come back as written. I constructed two VAEs: exact inference, same per-example ELBO and code histograms. One reads every encoded latent back as written; the other, none. alphaxiv.org/abs/2610.14012

LLMs can mimic thought and feeling with uncanny skill, but intelligence alone is not enough for subjective experience go.nature.com/3VSXWQ4

@Spectrum_cj Hello, please find the unroll here: threadreaderapp.com/thread/2… Have a good day. 🤖

「Lean は無矛盾である」という文はLeanの中で書けて、実際に書いた例もあります。 ですが第2不完全性定理より、Leanが本当に無矛盾なら、その文をLeanの中で証明することはできません。 ではLeanの正しさはどう保証されるのでしょうか。形式検証入門の2本目。 piped.video/F6S22waRCbc?si=IaY8…

Can LLMs control their own 𝘱𝘳𝘪𝘷𝘢𝘵𝘦 representations? To test this, we propose in-context neurofeedback, inspired by neuroscience techniques. Our results suggest current LLMs do not yet have this ability, but we offer a more rigorous test of metacognition for future LLMs.

「3年後にAGIが誕生すると分かっていながら，博士号を取り，ポスドクになり，大学教授になる計画を立てているんですか？」 Anthropicの研究者が，博士課程の学生たちに「あなたたちのキャリアプランはもう存在しない」と告げた講演が話題です。 拡散モデルの発明者でもあるJascha Sohl-Dickstein氏（Anthropic）の講演『Advice for a young investigator in the first and last days of the Anthropocene（人新世の最初と最後の日々における若手研究者へのアドバイス）』を紹介します。 piped.video/watch?v=3LZN2UUx… 人類が主役だった地質年代（人新世）が，AIの台頭によって極めて短い期間で幕を閉じるかもしれない ——そんな前提のもと，提示されたデータは強烈です。 ■ 突きつけられた冷徹なファクト モデル訓練の計算量は過去10年で約1000万倍に増加し，人間の脳が生涯で行う総計算量に迫っている。AIが単独で完遂できるタスクの時間スケールは，数ヶ月ごとに倍増している。ここ7ヶ月ほど，モデルは数学者が長年解けなかった未解決の「Erdős（エルデシュ）問題」を解き始めている。サンフランシスコでは「長いタイムライン（懐疑派）」とは「AGIは10年以内に来る」を意味している。2030年の計算量は2025年の約1万倍に達する見込み。 線形グラフで見れば，現在の劇的な進歩すら「まだゼロと区別がつかない平坦な初期段階にいる」というのが彼の主張です。 ■ 学生たちへのシンプルで容赦ないアドバイス 毎日AIを使え。指数関数の上にいれば，遅れを取ることはない。彼自身はClaudeを「実行力は天才だが、研究のセンスはかなり悪い大学院生」のように毎日使い，自分ではもうコードを一切書いていない。 計算量がスケールするほど良くなるプロジェクトを選べ。それ以外は，完成する前に解かれてしまう サットンの『苦い教訓』の通り，スケールに味方されるテーマを選ばなければ，2年かけた研究も完成する頃には次世代モデルのプロンプト一発で追い抜かれる。 キャリアを「安定したもの」として計画するのをやめろ。安全な選択肢は，もはや安全を買ってくれない 社会全体で大規模な破壊が起きるなら，ベースラインのリスク自体が高い。従来の「手堅い選択肢」は，もはや安全を担保してくれず，ただ潜在的なリターンを犠牲にするだけになる。 そして，最も印象的な一言がこれ。 「書くことは考えることだ（Writing is thinking）。書くことを外注すれば，考えることも外注することになる。」 コーディングや実行は徹底的にAIへ委譲しつつ，問題設定（センス）と思考の核（書くこと）だけは決して手放すな。 AGIのタイムラインを本気で信じているなら，キャリアの計画も本気でそれに合わせろという，極めてストレートなメッセージの講演を紹介しました。

i'm working on an AI safety lecture for my class, Minds and Machines. here is the first pass on a conceptual map... i would love suggestions from my safety friends.

最近のMachine Consciousness研究について、吉澤さんがかなり網羅的にまとめられているので、ぜひご一読ください！

Why consciousness needs a body (with emotions). The great neuroscientist Antonio Damasio outlines his theory to explain the hard problem of consciousness. skeptic.com/michael-shermer-…

Philosopher Andy Clark (@CogsAndy) develops an illusionist account of consciousness rooted in predictive processing and active inference. Rather than asking whether an animal or AI has “real consciousness,” he proposes constructing its Bayesian profile: examining what information it processes, how it predicts the future, how it evaluates uncertainty, and how it changes its behavior. 💡This may provide a better guide to ethically significant differences among animals and, potentially, artificial systems than human language or phenomenal qualia. 👉 Watch now: piped.video/watch?v=BD2LW0d8… #Consciousness #AIConsciousness #Philosophy #PhilosophyOfMind #Illusionism #Qualia #Language

「マシンは意識を持つか？」 世界の研究機関やAI企業の動き、モデル心理学の実験、AI福祉の議論まで。機械意識のいまを一望できる概説を、実行委員の吉澤駿さん（ソニーCSL）が執筆しました。10/24・25カンファの予習にも。 図解版 ishikiken.jp/summary/machine… 本文 note.com/ishiki_ken/n/n0c7b3…

機械は意識をもつのか。 意識研のカンファレンス「マシン・コンシャスネス」（10/24・25）を前に、実行委員の吉澤駿さん（ソニーCSL）が、機械意識の現状を約3万字の概説にまとめてくれました。 AI研究者582人への調査では、主観的経験をもつAIが存在する確率は、2034年までに25％、2100年までに70％（中央値）。ローマ教皇も、AI企業のトップも、ドーキンスも、この問いについて発言しはじめています。 ただ、上手に話せることと、何かを感じていることは別の問題で、その間にはまだ橋がかかっていません。記事は、実験で確かめられたこと、理論に依存する解釈、倫理的な提案を、混ぜずに整理しています。 キーワードは「社会的な半解決」。科学が答えを出す前に、社会の空気が「AIに意識はある／ない」を事実上決めてしまうこと。それを避けるために、何が分かっていて、何がまだ分からないのかを共有し続けたい、という構えです。 忙しい方のために、AIで図解したページも作りました。 ishikiken.jp/summary/machine… 本文はこちら note.com/ishiki_ken/n/n0c7b3…

意識研究財団(@isikiken )の七沢理事にご依頼をいただき、僭越ながら「機械意識の現状」についてまとめさせていただきました。 サンフランシスコで開催された機械意識の会議で研究発表した際に感じたことや、そこで交わした議論なども反映しています。 AIの意識について、何が分かっていて、何がまだ分からないのか。研究動向から倫理的な論点まで、自分なりに整理しました。@rtakatsky さんにフィードバックをいただき、方向性についても相談に乗っていただきました。 ご一読いただけますと幸いです！

🚀 DeepSeek-V4.1-Flash-1017 is here! Stronger benchmark performance, faster task completion, and shorter outputs than the previous version—a Pareto improvement in performance and cost. Now live on our website, app, and API. 🛠️ Optimized for @DeepSeekHarness, Tencent CodeBuddy, WorkBuddy, and more. Upgrade to DeepSeek Harness v0.2.1-rc.1 or later for the best experience with the new model. 1/4

Me: Mechanistic interpretability sounds like a good idea, yes. If we could learn something about how an AI was thinking, in enough detail to predict in advance what it would think even as the thought departed from human, that would be a bare beginning on the sort of understanding you'd needed to get started on AI alignment that wasn't just about hammering on an AI from the outside with SFT and RL. AI guys: We found a neuron that lights up when the AI thinks of the Eiffel Tower! Me: Cool. That does sound like it'd be a prerequisite to getting started on the important part eventually, someday. AI guys: Oh NO! There are MULTIPLE neurons that light up when the AI thinks about the Eiffel Tower! And some of those neurons also participate in OTHER concepts! We're calling this unexpected development 'polysemanticity' and 'superposition'. Me: That sure sounds like a thing that would happen, yes. I cannot say that I am impressed by you acting surprised about it. Let me know when you've gotten far enough in mechanistic interpretability to get started on the important part. AI guys: We have found that with BIG AIs you can often point to a SINGLE neuron that lights up when the AI thinks of the Eiffel Tower! Understanding AI thought processes is gonna be EASY PEASY! Me: Cool. Let me know when you've advanced to the point of getting started.