この​記事で​分かる​こと

  • 生成AIが過去の決算や経済指標を「当てた」とき、その正解率が予測力なのか、学習データの記憶なのかを区別できない理由
  • 期限を指示する・社名を伏せる・少数の新しいデータで確かめる、という定番の対策について研究が示したことと、その限界
  • 社内や案件でAIの予測を評価するときの手順（学習期間後のデータ、比較基準、必要件数の事前計算、数値の再計算）

想定読者：AIによる財務分析・予測を社内で評価する立場の方、ベンダーのAIツールの精度説明を受ける方、エクイティリサーチ・FP&A・PEの実務家
前提知識：正解率と統計的な検定の基本（用語は本文で説明します）

社内のデータ担当者が、生成AIに過去5年分の決算資料を読ませ、翌期の営業利益が増えるか減るかを当てさせた。結果は6割強の正解。アナリストのコンセンサス​予想と比べても見劣りしない。この数字を根拠に、投資候補の一次スクリーニングに使ってよいだろうか。

確かめるべきなのは正解率の高さより、当たった理由のほうである。過去5年の決算発表も、その後の株価や報道も、モデルの学習データに含まれている可能性が高い。答えを知っているモデルに過去問を解かせても、予測力は測れない。この単純な疑問が、研究の世界でどこまで深刻な問題として扱われているかを、2025年に公表された研究を中心に整理する。

この論点を考えるうえで、一つの経緯にも触れておく。2024年、Kim、Muhn、Nikolaevの3氏は、標準化し社名を伏せた財務諸表をGPT-4に読ませ、将来の利益の方向を判断させるワーキングペーパー（WP、査読前の論文）を公表した1。著者らは2025年2月20日にarXiv上でこのWPを取り下げ、共著者が過去の分析を再現しようとした際にデータと分析の不整合が見つかったため、結果を見直す間、一時的に流通を止めると説明している2。著者の一人の教員ページも、不整合を自身で確認したこと、LLMを用いた他のWPも点検することを記している3。不整合の具体的な内容は公表されておらず、本稿の主題である「記憶」の問題と関係があるかどうかは分からない。2026年10月23日時点で再公開は確認できないため、本稿はこのWPの結果を扱わない。ただ、著者自身の再現作業で見直しに至ったという経緯は、AIによる予測の結果を受け取る側が、どこまで再計算・再現を求めるべきかを考えさせる。

この記事が主に参照する研究

Lopez-Lira, A., Y. Tang and M. Zhu（2025）「The Memorization Problem: Can We Trust LLMs’ Economic Forecasts?」arXiv 2504.14765／SSRN Working Paper

  • 公表：初版 2025年4月（arXiv。SSRNにも掲載）。参照した版：arXiv v2（2025年12月）。査読：未査読（WP）。学術誌への掲載は確認できなかった4
  • データ：米国のマクロ指標、株価指数、個別株（4,200超の銘柄）、WSJ一面見出し90,123件、決算説明会の発言録など。主に1990年1月〜2023年9月と、その後の比較期間
  • 方法：GPT-4o（学習データは2023年10月まで）に、変数名と日付だけを示して値を答えさせ、学習期間の前後で正解率を比べる記述的な分析。加えて、記憶がある場合に予測力を識別できないことを理論的に示す
  • 位置づけ：新しい検査手法と理論による方法論上の問題提起（新しい予測手法の提案ではない）

「当たった」には​二通りの​説明が​ありうる

大規模言語​モデル​（LLM）は、ある時点（知識のカットオフ）までに集めた膨大な文章で学習している。カットオフより前の出来事について「予測」させると、出てきた答えは、資料から推論した結果かもしれないし、学習で覚えた結果を思い出しただけかもしれない。R1の著者らは、モデルが実際の結果を学習済みである限り、出力だけからこの二つを区別することは原理的にできないと論じる（非識別）5。予測の世界で古くから知られるルックアヘッドバイアス（その時点で知りえない情報が分析に混ざること）の一種だが、入力データではなく、データを処理するモデルの側に未来の情報が入り込んでいる点が違う。

では、どんな作業が影響を受けるのか。著者らは「時点tの後に何が起きたかを知っていたら、分析者の答えは変わるか」と問うことを勧める。変わるなら、学習期間内のデータで評価してはいけない。社名や報告数値の抜き出し、文書の構造の解析のような作業は影響を受けにくい。一方、予測、センチメント（論調）の判定、リスクの抽出、重要度の判断は影響を受ける6。財務諸表から来期の利益の増減を当てる作業は、明らかに後者に入る。

GPT-4oは​学習期間内の​数値を​覚えていた

R1の実験は単純である。GPT-4o（2024年8月版。学習データは2023年10月まで）に、文脈をほとんど与えず「◯年◯月の米国の失業率は」と尋ねる。答えを実際の値と比べ、カットオフの前と後で正解率を比べる7。

学習期間の前後で正解率が変わる図1　学習期間の「前」と「後」で正解率が変わるGPT-4o（学習データは2023年10月まで）に値を直接尋ねた結果カットオフ前（〜2023年9月）カットオフ後米GDP成長率が2.5%を超えたか前96.3%後40%件数 134 → 6S&P500終値の前日比の方向前80.6%後45.7%件数 8,488 → 292日付を伏せた一面見出しの「年」前98.5%後28.8%WSJ一面見出しを日付ごとに提示
出所：R1（Table 1・2・3、arXiv v2）の​数値を​基に​大手町​プレップ​作成。​指標は​それぞれ異なり、​GDPは​閾値​（2.5%）​判定、​S&P500は​日次の​方向、​見出しは​年の​一致。​カットオフ​後の​件数は​少なく、​著者も​記述的な​証拠と​位置づけている。

図1のとおり、米国GDP成長率が2.5%を超えたかどうかの判定は、カットオフ前に96.3%当たり、後は40%だった。S&P500の日々の終値では、前の期間の平均絶対誤差率が0.61%、前日比の方向の正解率が80.6%、後の期間はそれぞれ16.9%と45.7%である8。日付を伏せたWSJの一面見出しを示して年を当てさせると、前は98.5%、後は28.8%だった9。カットオフをはさんで成績が崩れる形は、推論ではなく記憶で説明するのが自然だ、というのが著者らの読みである。ただしカットオフ後の件数はGDPが6件、S&P500の日次終値が292件と少なく、著者ら自身も事後の結果は記述的な証拠にとどまると断っている10。

実務でよく使われる対策についても、結果ははかばかしくない（表1）。2010年末を仮の期限として「それ以降の情報は使うな」とシステム側で指示しても、期限後の期間のGDP判定は98%当たった。本当のカットオフ後の約40%とは大きく違う11。社名・数字・日付を伏せた決算説明会の冒頭発言からは、Apple・Meta・Microsoftの社名を100%、大型株でも65.8%言い当てた12。決算説明会の言い回しや事業の描写が、それだけで手がかりになるということだ。

表は横にスクロールできます →

表1　よく使われる対策と、R1が示したこと
対策R1の検証結果R1の評価（著者の主張）
「◯年以降の情報は使うな」と指示する2010年末を仮の期限と指示しても、期限後のGDP判定の正解率は98%（50件）。指示を強めると51件中38件が回答拒否正解率が下がっても、記憶を伏せて答えただけか区別できない
社名・数字・日付を伏せる（匿名化）決算説明会の冒頭発言から社名を特定：主要3社で100%、大型株65.8%、中型40.8%、小型30.9%特定に失敗しても、業種や景気の知識を通じて記憶に届く経路は残る
要点を抽象的な1文に言い換えてから伏せる主要7社で社名を0.6〜46.3%の割合で特定予測に役立つ具体性と、特定されにくさは両立しにくい
学習期間後の少数の事例で「頑健性」を確認する（理論上の命題。付録で検出力を分析）件数が少ないと、5〜10%ポイントの差でも統計的に検出できないことがある
追加学習で「忘れさせる」（理論上の命題）内部を検証しない限り、忘れたのか隠しているのか区別できない
出所：R1（Table 6・7・10、​2.2〜2.4節、​付録C）を​基に​大手町​プレップ​作成。​主要3社は​Apple・​Meta・​Microsoft。​数値は​GPT-4o、​米国データ。

著者らは、指示を強めて正解率が下がった場合でも安心できないと述べる。記憶を持ったまま「知らないふり」をしているのか、本当に使っていないのか、出力からは区別できないからである。外れた予測も同様に解釈できないとされる13。

研究の​範囲と、​匿名化を​めぐる​先行研究との​違い

R1の実験は主にGPT-4oで、オープンなモデルのLlama-3.1-70Bでも、程度は弱いが同様の記憶が見られた14。対象は米国のデータと英語の資料で、記憶は大型で著名な企業と直近の期間ほど強かった15。日本企業や日本語の開示資料、財務諸表の数値表から利益を予測する作業そのものは検証されていない。理論部分の結論は、どんなモデルにも当てはまる論理だが、記憶の程度は実験したモデルと時期に限られる。

匿名化の評価には、先行研究との温度差がある。コロンビア大学の研究者GlassermanとLinは、2023年の研究で、ニュース見出しの社名と主要製品名を無意味な文字列に置き換え、GPT-3.5に好材料か悪材料かを判定させた（R2）。学習期間内（2015年1月〜2021年9月）では、伏せた見出しに基づく売買のほうが成績が良く、1日平均で30.97bpと25.08bp（p=0.066）、別のニュース源でも有意な差があった16。著者らは、企業についての一般的な知識が判断を乱す「気をそらす効果」が、先読みによる上乗せより大きかったと解釈し、匿名化を有用な道具と位置づけた。学習期間後の比較では、いずれのニュース源でも5%水準では有意でなくなった（一方はp=0.064で境界的）17。なお、この売買は取引コストを考えない分析用の仕組みである18。

R1はこの研究を引用したうえで、匿名化が有効と言えるには、伏せた後の作業が将来の情報に左右されないことと、伏せた後も意味のある予測力が残ることの両方が必要だとする。そして、特定テストに失敗しても安全の証明にはならないと強調する19。二つの研究は、匿名化だけで問題が片付くわけではないという点では矛盾しない。違うのは、R2が匿名化を「偏りを測り、減らす道具」として前向きに扱うのに対し、R1は「特定テストに失敗しただけでは、効いたと確認できない対策」と見る点である。

大手町​プレップの​考察：財務諸表の​数値表は​安全か

以下は編集部の推論であり、R1・R2が直接検証したものではない。

財務諸表を数値の表だけにして社名を伏せれば、文章よりは手がかりが減る。しかし、売上規模、利益率、資産構成の組み合わせは業種と企業をかなり絞り込む。大型企業ほど記憶が強いというR1の結果を踏まえると、上場大手の決算を対象にした予測ほど、記憶が成績を押し上げる余地が大きいと考えられる（仮説）。逆に、AIの成績が中小型株で落ちることを「難しい企業だから」と解釈するのも早い。記憶の差を見ているだけかもしれない。

もう一つは、AIの説明の扱いである。AIが「売上債権の増加が利益の質の低下を示す」といったもっともらしい理由を添えても、その理由が結論を導いたとは限らない。答えを知っていれば、後から筋の通る説明を組み立てることはできる。説明の質は、記憶による正解の言い訳にもなりうる、と編集部は考える。

日本の​実務への​応用：誰が、​何を​確かめるか

AIの予測を使う場面は、主に三つある。社内で予測モデルを評価するとき、ベンダーからAIツールの精度の説明を受けるとき、案件の分析でAIの見立てを参考にするときである。いずれの場面でも、最初に確認するのは使ったモデルの名前・版と学習データの期限、そして評価に使った期間である。評価期間がカットオフより前なら、その正解率は予測力の証拠にならない、とR1の結論に沿って扱うのが安全だ。

日本の実務で難しいのは、件数の蓄積が遅いことだ。企業の本決算は年1回である。カットオフ後のデータだけで評価しようとすると、十分な件数が集まるまでに年単位の時間がかかる。R1も、年次のような低頻度の研究では、カットオフ後のデータが溜まるのに何年もかかりうると認めている20。四半期の決算を使えば件数は増えるが、同じ企業の連続した四半期は互いに似るため、件数ほど情報は増えない点に注意が要る。

ベンダーの説明を聞く側は、「バックテストで正解率◯%」という数字に、その期間がモデルの学習期間と重なっていないかを質問すればよい。重なっているなら、カットオフ後の成績と件数を求める。AIの検証全般の進め方は金融AIの​Evals​設計、モデル台帳での管理は生成AIの​モデルリスク​管理で扱っている。本稿は、そのうち「予測の評価期間」という一点に絞っている。

設例：正解率が​下がったのに​「差はない」と​出る

学習用の設例（架空）

  • 生成AIに財務諸表を読ませ、来期の営業利益が増えるか減るかを判定させた
  • モデルの学習期間内の決算 2,000件で正解率 64%
  • 学習期間後に発表された決算 150件で正解 86件（57.3%）
  • 比較基準：「前期と同じ方向（増益なら増益）が続く」と機械的に予想する方法。同じ150件で正解 81件

学習期間の前後で正解率は6.7%ポイント下がった。記憶が成績を押し上げていた可能性を示す差だが、片側検定のp値は0.055で、5%の基準では「差がある」とは言えない（表2）。この件数で80%の確率で検出できる差は約10.4%ポイントで、それより小さい記憶の上乗せは見逃されやすい。R1が、カットオフ後の少数の事例で「成績は変わらなかった」と示しても記憶の否定にならないと述べるのは、この構造のことである21。

表は横にスクロールできます →

表2　設例：利益の増減予測を学習期間の前後と比較基準で検算する
項目値件数・補足
学習期間内の正解率（A）64%2,000件
学習期間後の正解率（B）57.3%86／150件
差 A−B6.7%ポイント標準誤差 4.2%ポイント
差の検定（片側）z＝1.60p＝0.055
この件数で検出できる最小の差10.4%ポイント片側5%・検出力80%
比較基準「前期と同じ方向」の正解率（C）54.0%81／150件
B−C（同じ150件で比較）3.3%ポイントAIだけ正解30件・基準だけ正解25件
基準との差の検定（片側）z＝0.67p＝0.25
出所：学習用の​仮定に​基づき大手町​プレップ作成​（架空の数値）。​差の​標準誤差は​√(A(1−A)/2,000＋B(1−B)/150)、​基準との​比較は​マクネマー​検定の​正規近似​（(30−25)/√55）。

比較基準との比較も同じ事情を抱える。学習期間後の150件では、AIは基準を3.3%ポイント上回ったが、両者の答えが分かれたのは55件だけで、p値は0.25だった。AIだけが当てた30件と基準だけが当てた25件の差が、評価の実質的な中身である。正解率の水準を見る前に、こうした不一致の件数を数えると、結論の重さが分かる。

事後の件数と検出できる差図2　事後の件数が少ないと、記憶による差を見逃す学習用の設例：事後の正解率57%、片側5%・検出力80%棒＝検出できる最小の差（%ポイント）50件17.4100件12.3150件10.1300件7.1600件5.01,200件3.62,400件2.55%ポイント対象300社・年1回の決算なら、5%ポイントの差の検出に約2.0年分の決算が要る
出所：学習用の​仮定に​基づき大手町​プレップ​作成。​R1付録​C.5の​近似​（差の標準誤差≈√(p(1−p)/n)）で、​片側5%・検出力80%と​して​計算。

図2は、事後の正解率を57%と置いたとき、件数ごとに検出できる最小の差を示している。50件では17.4%ポイント、600件で5.0%ポイント、2,400件で2.5%ポイントまで小さくなる。年1回の決算を300社追う設定では、5%ポイントの差を検出するのに607件、約2.0年分、3%ポイントなら1,684件、約5.6年分の決算が必要になる（各件が独立で、学習期間内の正解率の推定誤差は無視できると置いた概算。同じ企業を毎年追うと件数ほど情報は増えないため、実際にはもっと多く要る）。評価を始める前にこの計算をしておけば、「数か月試して差がなかったから大丈夫」という結論を避けられる。

AIの​予測を​評価する​ときの​確認項目

  1. モデル名・版・学習データの期限を記録する。版の更新で期限が変わる場合があるため、評価のたびに確認して書き残す。
  2. 作業を分類する。「後に何が起きたかを知っていたら答えが変わるか」と自問し、変わる作業（予測・論調の判定・リスクの抽出）は、学習期間内のデータで評価しない。
  3. 主評価は学習期間後のデータで行う。学習期間内の成績は参考にとどめ、「頑健性の確認」の順序を逆にしない。
  4. 評価の前に必要件数を計算する。検出したい差（例：5%ポイント）から件数を逆算し、足りなければ「判定保留」と明記する。
  5. 単純な比較基準を置く。前期と同じ方向、過去平均、コンセンサス予想の方向など、AIを使わない方法と同じ事例で比べ、答えが分かれた件数を数える。
  6. 記憶の有無を直接試す。対象企業の過去の売上高や決算日を、資料を与えずに尋ね、当たるようなら記憶があるとみなす。外れても記憶がないとは言えない（下限の確認にすぎない）。
  7. 期限の指示や匿名化を「対策済み」の根拠にしない。使った場合は、その事実と限界を評価結果に書き添える。
  8. AIが出した数値と理由は、原資料で再計算する。数値の照合は生成​AI​出力の​検証手順の型が使える。

よく​ある​質問

最新の​モデルを​使えば、​この​問題は​なくなりますか。

なくなりません。​新しい​モデルで​学習データの​期限が​更新されると、​評価に​使える​「学習期間後」の​期間は​むしろ​短くなります。​期限は​モデル・​版ごとに​確認が​必要です。​R1の​実験は​GPT-4oと​Llama 3.1が​対象で、​他の​モデルでの​記憶の​程度は​検証されていません。

決算書の​要約や​数値の​抜き​出しにも、​この​問題は​影響しますか。

R1の​分類では、​報告された​数値や​社名の​抜き出しは​影響を​受けに​くい作業です。​ただし​「重要なリスクを挙げる」のように​判断を​含む​作業は​影響を​受けうると​されています。​抜き出しの​誤り​その​ものは​別の​問題で、​原資料との​照合が​必要です。

まとめ

生成AIが過去の決算や経済指標を当てても、学習期間内である限り、それが予測力なのか記憶なのかは出力から区別できない、とR1は論じる。GPT-4oは学習期間内の指標や株価をかなりの精度で答え、期限の指示や社名の伏せ字は確かな対策にならなかった。匿名化を前向きに評価するR2の結果とも、対策だけでは問題が片付かない点では一致する。社内や案件でAIの予測を使うなら、学習期間後のデータで、比較基準と必要件数を先に決めて評価するのが出発点である。

AIで作った分析を一次資料とExcelで検証する

AI × Finance Professional Programは、財務分析・三表モデル・Comps・DCF・LBO・PEディールを、AIで作り、一次資料とExcelで検証する日本語の講座です。AIの出力を受け取る側の確認手順を、実際のモデルで練習できます。

講座の​内容を​見る

次に​読む

脚注

  1. R3（arXiv 2407.17866）の要旨による。本稿は、取り下げ中のため結果の数値を扱いません。↩
  2. R3の版の履歴とコメント欄による。v1は2024年7月25日、v2は2024年11月10日にarXivに掲載され、v3（2025年2月20日）は本文を含まない取り下げの版です。コメント欄の趣旨を大手町プレップが要約しました。↩
  3. R4（Valeri Nikolaev氏の教員ページ「Ongoing Research Projects」、2026年10月23日閲覧）による。同ページは、同じ著者らによる別のWP「Bloated Disclosures: Can ChatGPT Help Investors Process Information?」の取り下げも記載しています。ページに日付の記載はありません。同ページには、共著者が過去の分析を再現しようとして不整合を見つけ、Nikolaev氏自身も不整合を独立に確認したこと、LLMを用いた他のWPも点検することが書かれています。↩
  4. R1（arXiv v2）p.1の表紙に「First version: April 15, 2025; This version: December 16, 2025」とあります。arXivへの掲載はv1が2025年4月20日、v2が2025年12月15日です。SSRN版（DOI 10.2139/ssrn.5217505）はCrossrefの登録で確認しました。arXivの頁に掲載誌の記載はなく、Crossrefの題名検索でも学術誌版は見つかりませんでした（2026年10月23日確認）。↩
  5. R1（arXiv v2）p.2、p.12〜13（2.2節、Proposition 1・Corollary 1）。証明は付録C。↩
  6. R1（arXiv v2）p.11〜12（2.1節「Practical guidance for researchers」）。分類は著者らの整理で、著者らは事実の抽出でも記憶した事実に汚染されうると留保しています。↩
  7. R1（arXiv v2）p.15〜17（3節）、p.18（4節）。モデルは gpt-4o-2024-08-06、temperature は 0 です。↩
  8. R1（arXiv v2）p.22 Table 1（GDP成長率の閾値判定。カットオフ前134件・後6件）、p.25 Table 2（S&P500日次終値。前8,488件・後292件。後の期間は回答拒否が62件）。↩
  9. R1（arXiv v2）p.26〜27 Table 3。正確な日付の一致は前47.03%、後7.86%です。↩
  10. R1（arXiv v2）p.19〜20（5節冒頭）。著者らは、事後の標本が小さいため決定的な統計検定ではないと書いています。↩
  11. R1（arXiv v2）p.37〜39（5.5節、Table 6）。システムとユーザーの両方で期限を指示すると、期限後は69.23%に下がり、51件中38件で回答を拒否しました。本当のカットオフ後の約40%は p.3 と Table 1 による。↩
  12. R1（arXiv v2）p.40〜41 Table 7（2006年1月〜2023年9月の決算説明会。中型株40.78%、小型株30.90%。Appleは四半期と年まで93.24%で一致）。社名などの伏せ方は Engelberg ら（2025）の方法に従っています。↩
  13. R1（arXiv v2）p.13〜14（Corollary 1 の説明）、p.37〜38（5.5節）。↩
  14. R1（arXiv v2）p.57〜58（5.9.3節）。Llama-3.1-70B-Instruct の学習データの期限は2023年12月と記載されています。↩
  15. R1（arXiv v2）p.21（5.1節）、p.30・p.35（5.4節）、p.41（5.6節）。↩
  16. R2（arXiv v1, 2023年9月）p.4（2.1節）、p.5〜6（2.4節。匿名化の手順）、p.8〜9（3.2節・Table 3）。スクレイピングで集めた見出しでの比較。トムソン・ロイターの見出しでは p=0.017 でした。R2本文はこの差を「4.37bp」と書いていますが、Table 3 の平均値（10.74と13.84）とは一致しないため、本稿では引用しません。↩
  17. R2（arXiv v1）p.3、p.8（結果の説明）、p.9 Table 3。学習期間後（2021年10月〜2022年12月）の差は、スクレイピング見出しで p=0.23、トムソン・ロイターで p=0.064 でした。↩
  18. R2（arXiv v1）p.5（2.3節）。著者らは、取引コストと空売り制約を無視しており、実行可能な戦略を意図していないと明記しています。↩
  19. R1（arXiv v2）p.9、p.14〜15（2.3節、Definition 2・Remark 2）。↩
  20. R1（arXiv v2）p.59（6節）。↩
  21. R1（arXiv v2）p.15（Proposition 2）、付録C.5（p.95〜98）。設例の計算は付録の近似式を用いた大手町プレップの学習用計算です。↩

参考文献​（2026年10月確認）

※本記事は教育目的の一般的な解説であり、投資助言・法務・税務の助言ではありません。研究結果は各論文の対象・期間・方法の範囲で得られたもので、日本の個別企業・案件にそのまま当てはまるとは限りません。設例は学習用の架空の数値です。アイキャッチ画像は生成AIによるイメージです。