断り書き:俺はN5レベルで日本語を勉強中です。間違いがあるかもしれないけど、頑張っています!
今、こういう話がある:「Anthropic の Project Glasswing は、finding を 37,966 件見つけた。でも fix は 217 件だけ」。この 2 つの数字は、どっちも本物だ。元になったのは、VulnCheck の Patrick Garrity が 11月9日に書いた記事、“Tracking Anthropic-discovered vulnerabilities” で、Anthropic 自身の公開 dashboard と ledger にも、どっちも出ている。同じ Anthropic のページには 3 つ目の数字、629 patched upstream もある。記事の本文に 629 は出てこない。記事にはチャートの画像がある。俺はその画像を読んでいない。だから、画像の中は分からない。
先に、disclosure を 1 回だけ。俺は動画を作るときに、Anthropic が作った Claude を使っている。そして今回、監査されているのは Anthropic だ。VulnCheck は脆弱性の情報を売る会社だ。記事は、“exploited in the wild”(実際に悪用された)かどうかを、KEV リストで決めている。KEV は、悪用が確認された脆弱性のリストだ。記事が使っているのは、VulnCheck が運営している KEV(VulnCheck KEV)だ。それに、記事が出している 2 つの CVE のうち 1 つは、VulnCheck が CNA として番号を出したものだ。これは「誰がどの数字を持っているか」という事実だ。この記事では、数字と、その数字の意味だけを見る。
この記事は、どちらの側の verdict(判定)でもない。俺がほしいのは method(やり方)だ。「AIが脆弱性をN個見つけた」という話なら、どれにも使える 5 つのチェック。VulnCheck の監査を読んだとき、そのチェックが必要になった本物の数字を、1 つずつ見ていく。
俺が作り直したもの、そして合っていたもの #
Anthropic の ledger は hash commitment のリストだ。finding 1 つにつき SHA-3-512 の hash が 1 つ。詳細は、disclosure の期間が終わってから出る。VulnCheck は、その ledger を、公開の CVE データと比べている。ある maintainer が報告の一部を triage した結果とも比べている。
数字がどこまで合うか見るために、俺は ledger のデータファイル(payload.json)を取った。Anthropic の archive にあるスナップショット も 3 つ取った(5月22日、8月26日、10月2日)。そして、作り直せるものを作り直した。
ledger の行とスナップショットから、次の数が同じように出た:ledger の行が 7,349、status が fixed のものが 217、duplicate が 1,654、withdrawn が 419、revealed が 235。launch 時の数字も同じだった(candidates が 23,019、true positive rate が 90.8%)。記事の表の 8月26日の列も、まるごと同じだ(26,153 / 2,736 / 202 / 245 / 91.4%)。
VulnCheck が Anthropic から引いている残りの数字は、37,966 candidates と 94.2% だ。これは Anthropic の dashboard の headline の数字と合っている。ただ、公開されている行からは、計算し直せない。だから「同じ数が出た」とは言わない。
1 つ、合わない数字がある。記事の表は duplicate を 1,670 と書いている。本文は 1,654 と書いている。ledger は 1,654 だ。Anthropic のものではない数字(442 CVE、93,450、悪用された 2 つの CVE、curl の件数)は、このあと、それぞれ見る。
数字が合うなら、問題はどこにあるのか。数字の隣にある言葉が、何を数えているか。そこだ。
Check 1:何を数えているのか? #
まず 37,966 から。Anthropic の About ページは、“Candidates” をこう説明している:
“Every distinct crash or vulnerability hypothesis that Claude produced across the program, before any triage.”
(意味:プログラム全体で Claude が出した、crash か脆弱性の仮説。1 つ 1 つ別のもの。triage の前の数。)
dashboard では、どの段階でも、数の名前は “findings” だ。だから、確認されていない仮説も、確認されたバグも、同じ名前で呼ばれる。1 つの言葉には、ちょっと重い仕事だ。そのあと、段階ごとに数は減っていく。dashboard の 11月2日時点の数字では:
- 37,966 candidates
- 6,376 が外部のセキュリティ会社に reviewed された
- 6,009 が confirmed valid。94.2% はここから来ている(6,009 / 6,376)
- 5,087 が disclosed。そのうち 1,862 は “Reported to maintainers”、3,225 は “Reported direct to maintainers by Anthropic” とラベルがついている。後のグループには “May contain false positives” という印がある
- 629 が patched upstream。意味は “A patch has landed after the report was sent”(意味:報告を送ったあとに、patch が入った)
VulnCheck の記事の 2 つの文は、このリストと少し合わない。1 つ目はこうだ:
“Of the 37,966 findings Anthropic reports, only 7,349 (19.4%) have been made public.”
(意味:Anthropic が報告する 37,966 件の finding のうち、公開されたのは 7,349 件(19.4%)だけ。)
でも 7,349 は、ledger の行の数だ。行は 1 つ 1 つが hash commitment で、通知の前には、ページに hash と日付しか出ない。Anthropic 自身の数では、詳細つきで revealed になった finding は 235 で、disclosed は 5,087 だ。だから “made public” は VulnCheck のラベルで、どちらの数にも合わない。
2 つ目。記事は、442 CVE を追いかけた数として、ledger の 217 fixed と並べて、こう書いている:
“more than twice as many as Anthropic has disclosed itself”
(意味:Anthropic 自身が disclose した数の 2 倍より多い。)
でも、Anthropic の “disclosed” は 5,087 で、217 は ledger の status だ。
duplicate も、言葉の意味を読む必要がある。About ページでは、duplicate は “later found it was the same bug as another of our findings”(意味:あとで、自分たちの別の finding と同じバグだと分かった)ものだ。つまり、Anthropic 自身の finding どうしが同じ、という意味だ。世の中にもう知られている問題と同じ、という意味ではない。そのことは、はっきり書かれている。2 から 1,654 に増えたのは、11月2日の更新のときだ。Anthropic はこう説明している:
“We found that many reported findings were duplicates of our other findings. We marked them duplicate in the ledger and stopped counting them.”
(意味:報告された finding の多くが、自分たちの別の finding の duplicate だと分かった。ledger で duplicate の印をつけて、数えるのをやめた。)
そして、このチェックが最初に必要になる数字が “fixed” だ。ledger は 217 と言う。dashboard は 629 patched upstream と言う。公開の行で patched の旗が立っているのは 234 で、これが 3 つ目の値だ。About ページは、なぜ違うのかを書いていない。それに、用語集には “Fixed” の項目がない。
俺には 1 つの読み方がある。これは俺の読み方だ。Anthropic の話じゃない。
fixed の行は 217 ある。その 217 は、全部 revealed の行だ。revealed の数は、headline で 235 だ。revealed の tier を持つ行は 237 ある。その tier の外に、fixed の行は 1 つもない。
スナップショットでも同じだ。8月26日、10月2日、11月2日で、revealed の行は 212、235、235 になった。ledger の fixed は 202、218、217 になった。だから fixed は、reveal のあとに書かれるものに見える。dashboard の patched upstream は、同じ 3 日で 421、516、629 になった。
この読み方が合っていれば、2 つの数字は別のものを測っている。でも、合っているかは Anthropic にしか分からない。だから、これは発見じゃない。Anthropic への質問だ。
Check 2:分母(denominator)は何か? #
分母(denominator)は、割り算の、下の数だ。上の数は分子(numerator)という。
VulnCheck の次の文はこうだ:
“Just 217 of those have been marked fixed.”
(意味:そのうち、fixed の印がついたのは 217 だけ。)
217 を 37,966 で割ると、問題がある。7,349 で割るときも、5,087 で割るときも同じだ。上の読み方が合っているなら、217 は revealed の行の中にしかないからだ。下の数には、217 が入らない行が、たくさん入っている。だから、どの割り算も合わなくなる。
俺は fix の率を計算しない。計算したら、俺が今指している間違いと同じことになる。629 も、公開の行からは、比べられる下の数の中に入れられない。
次は、あまり問題にならない下の数の例だ。比べるためにね。VulnCheck は、自分たちの 442 CVE は “only about 0.5% of all CVEs”(意味:全 CVE のうち、約 0.5% だけ)で、“93,450 CVEs published this year”(意味:今年公開された 93,450 の CVE)のうちだ、と書いている。
俺は NVD のエントリを、公開日で数えた。2026-01-01 から 2026-11-09 までで、96,462 だった(3 つの期間で 22,140 + 37,096 + 37,226)。“Published this year” は、データの出どころと、数える日によって変わる。この文を書いている間にも、数は増えていく。NVD の 11月1日までの数は 92,417 だ。93,450 は、それと今日の数の間にある。だから、少し前に取った数に見える。
442 を 93,450 で割ると 0.47%。442 を 96,462 で割ると 0.46%。どっちでも、“about 0.5%” は成り立つ。VulnCheck が間違えた、という証拠は、ここにはない。(俺の NVD の期間には、2026 年に公開された CVE-2025-* の id も少し入っている。)
このチェックは、どっちの場合も手間が少ない。聞くことは 2 つだけだ:この数字は、何の割合か? 上の数は、下の数の中に入っているのか?
Check 3:同じグループ(population)を、同じルールで数えたか? #
94.2% は、会社が reviewed した finding のうち、本物と確認された割合だ。用語集によると、94.2% には、“duplicates and ‘won’t fix’ findings” も入っている。本物のバグでも、誰も patch しないものがある。それも true positive として数えられる。
VulnCheck は、これを curl と比べている:
“Of the 34 reports published so far, 19 have been marked as not a vulnerability, 6 have been confirmed as low severity, and 9 are still awaiting assessment. That puts the false positive rate at 55.9% so far”
(意味:これまでに公開された 34 件の報告のうち、19 件は「脆弱性ではない」、6 件は low severity で確認、9 件はまだ評価待ち。だから、今のところ false positive rate は 55.9%。)
その後ろに、こう続く:
“It’s a far cry from the 94.2% true positive rate Anthropic currently claims on its ledger.”
(意味:Anthropic が今 ledger で主張する 94.2% の true positive rate とは、大きく違う。)
数そのものは、同じになる。curl の GitHub の issue tracker には、11月5日から 9日の間に出された issue が 45 個ある。どれにも、Anthropic の OSS Scanner から転送された、と書いてある。34 のうち 19 は 55.9% だ。でも、数のまわりのものが違う:
- ラベル。 curl の
vuln:NONEの説明は “Vulnerability assessed and deemed insignificant”(意味:脆弱性として評価されて、重要ではないとされた)。VulnCheck の言葉は “not a vulnerability”、そのあと “false positive” だ。34 件のあとに出された issue #23845 では、Daniel Stenberg のコメントはこう終わる:“A bug, not a vulnerability."(意味:バグだ。脆弱性じゃない。) - pipeline。 Anthropic は、OSS Scanner の出力を “fully model-generated, without human review or triage” と言っている(意味:完全にモデルが作った。人の review も triage もない)。Anthropic の説明では、人は見ていない。さらに “it is possible reports will be incorrect or invalid”(意味:報告が間違っていたり、無効だったりすることもありうる)とも言っている。94.2% は、外の会社の人が reviewed した candidates の数字だ。だから、pipeline が違う。見た人も違う。
- 同じものか?(overlap) 45 個の issue には、どれも
ANT-2026-の id がある。でも、公開の ledger の行に、その id はない。行に id が出るのは、reveal のあとだけだ。だから、この 45 個が ledger に入っているか、94.2% に入っているかは、俺には分からない。それを書いている公開の情報も、見つからなかった。 - 大きさ。 1 つのプロジェクト、1 人の maintainer。そして 34 のうち 9 は、まだ決まっていない。
つまり、違うグループを、違うルールで測った 2 つの数を、お互いに比べている。2 つの違うテストに、1 つの答えの表で点をつけるようなものだ。俺が言うのは、ここまでだ。これだけでは、94.2% が間違いだとは言えない。scanner の出力がほとんどノイズだとも言えない。
分かるのは、1 人の maintainer のラベルで見れば、そのバッチに、重要ではないと判断された finding がある、ということだ。そして、それは Anthropic が前もって注意していたことだ。
Check 4:いつ数えたのか? #
ledger は、ずっと更新されているわけじゃない。バッチで更新されて、Anthropic はスナップショットを archive している:5月22日、8月26日、10月2日、11月2日。VulnCheck の表の “September 8” の列は、8月26日のスナップショットとぴったり合う。それは 9月8日に公開されていたページだから、列のラベルは正しい。それでも、いい例だ。データが 6 ヶ月で 4 回しか動かないとき、日付のラベルにどれだけの価値があるか。ラベルを見れば、どのバッチを見ていたかは分かる。それ以上は、あまり分からない。
11月2日の更新では、Anthropic 自身の合計も 3 つ減った(maintainer に報告した合計、maintainer が acknowledge した数、直接報告した数)。Disclosed は、10月2日の 6,157 から 5,087 に減った。Anthropic の説明では、前の数字に内部の duplicate が入っていたからだ。この期間の、どの 2 つの日付を比べるときも、各日付がどの数え方を使ったかを知る必要がある。
curl は、もっと速く動く例だ。記事の 19 / 6 / 9 は、11月9日の UTC 07:18 ごろの issue tracker と合っている。34 個目の issue が出された、ほんの数秒あとだ(作られたのは UTC 07:18:37)。VulnCheck がいつ数字を取ったかは、俺は知らない。
その朝の UTC 09:00 には、同じ 34 個の issue は 22 / 6 / 6 だった。UTC 12:00 には 26 / 6 / 2 だった。maintainer が 1 つずつ見て、ラベルを変えていたからだ。同じ 34 個の issue なのに、昼までに 3 つの違う数になった。
11月11日(UTC 15:00 ごろ)に取り直したら、ラベルがもう 1 つ変わっていて、27 / 5 / 2 だった。そして 45 個の issue のうち 22 個は、まだ open だった。だから、今日の数だけでは、どっちとも言えない。34 個のうち 9 個が決まっていない間に計算した率は、まだ途中の数字だ。記事自身も “so far”(今のところ)と言っている。
タイミングについての VulnCheck の一番強い文は、そのままの言葉で見る価値がある:
“In two months, Anthropic added nearly 12,000 findings and fixed just 15 more.”
(意味:2 ヶ月で、Anthropic は約 12,000 件の finding を増やして、fix は 15 件しか増えなかった。)
計算は合っている(37,966 引く 26,153 は 11,813。217 引く 202 は 15)。このチェックが問うのは、その 15 が、どの “fixed” の数から来ているか、だ。それは check 1 に戻る。
Check 5:誰が数えるのか、そして何が確認できないのか? #
442 は VulnCheck 自身の数だ。公開の GitHub tracker、Anthropic-Credited-CVEs にある。VulnCheck は、CVE の記録をキーワードで探して、この tracker を作っている。探す名前は、Anthropic、パートナーの会社、何人かの researcher で、記録のどこにあってもいい。それに、手作業の監査もある。
collaboration の credit も入っている。README は、エントリを “possibly discovered by Project Glasswing”(意味:Project Glasswing が見つけた可能性がある)と説明している。
Anthropic の dashboard は、CVE の記録を 230、GitHub Security Advisory を 503 と数えている。公開で載せている CVE の id は 102 個だ。載せるのは、disclosure の期間が終わったあとだけだからだ。その 102 個の id は、全部 VulnCheck のファイルに入っている。これは VulnCheck のいい点だ。だから 442 と 230 は、数え方のルールが違うだけだ。ぶつかっているわけじゃない。
“exploited in the wild” の数は、リストで決まる。VulnCheck は、442 のうち 2 つだけが “have been exploited in the wild, just 0.45%"(意味:実際に悪用された。たった 0.45%)と言っている。基準は VulnCheck KEV だ(2 / 442 は 0.452%)。俺は CISA の KEV catalog(version 2026.11.10、1,779 エントリ)を調べた。CVE-2026-61500 も CVE-2026-26980 も入っていない。これは、悪用されていないという意味じゃない。CISA のリストに一度も載らないまま、悪用される CVE もあるからだ。VulnCheck KEV は token が必要だから、俺は自分では調べられなかった。悪用について正直に言えるのは、「VulnCheck KEV は 2 つを載せている」ということだけだ。
2 つの CVE について。CVE-2026-61500 は rejetto HFS のバグで、2026-07-13 に公開された。この CVE に番号を出した CNA は VulnCheck だ。それを数えている KEV を運営しているのと、同じ会社だ。これは、その数字がどこから来たか、というだけだ。俺は、そこに別の意味をつけていない。credit には、Horizon3.ai の Zach Hanley の名前がある。その後ろに、こう書いてある:
“in collaboration with Claude and Anthropic Research”
(意味:Claude と Anthropic Research と協力して。)
そして、この CVE は、Anthropic が載せている 102 個の id の中にはない。ただ、Anthropic は 230 と数えている。だから「102 個の中にない」ことは、「Anthropic の合計にない」ことと同じじゃない。
CVE-2026-26980 は Ghost のバグで、2026-02-20 に公開された。Anthropic の ledger に ANT-2026-69D8H6RP として載っていて、status は fixed、revealed は 2026-06-03 だ。
両方に、1 つずつ、きびしい点がある #
Anthropic のページには “fixed” の数字が 2 つある。ledger の 217 と、dashboard の 629 だ。俺が読んだ範囲では、この差の説明はない。上で書いた読み方は、あくまで読み方だ。
Anthropic は dashboard で、こうも言っている。true-positive の数は、“should only be taken as one proxy for impact. Another, more reliable one is the number of patches created, though this is only a lagging indicator of progress, since patches take a long time to create."(意味:影響の proxy の 1 つとしてだけ見るべき。もっと信頼できるものは、作られた patch の数。ただし patch は作るのに時間がかかるから、進み具合の遅れて出る指標でしかない。)
さらに、“many additional bugs that we or our security partners have investigated and confirmed are real but that we have not yet reported to maintainers, due to capacity limitations”(意味:自分たちやパートナーが調べて本物だと確認したけど、capacity の限界のせいで、まだ maintainer に報告していないバグが、ほかにもたくさんある)とも言っている。
OSS Scanner については、“we remain bottlenecked on our human capacity to validate these findings."(意味:これらの finding を確認する、人の capacity が、まだ bottleneck だ)と言っている。
VulnCheck の記事は、上の説明で見ると、意味が同じじゃない数を比べている。ledger の行と “made public”。442 の CVE の記録と 217 fixed。1 つのプロジェクトのラベルと、ledger 全体の率。結論は VulnCheck 自身のもので、はっきり書いている:
“I don’t know how anyone can read these numbers as anything but damning.”
(意味:この数字を、悪いものとして読む以外に、どう読めるのか分からない。“damning” は VulnCheck の強い意見の言葉だ。)
そして、同じ重さで見るべきこともある:
“AI is a valuable tool for finding vulnerabilities, and I’m not discounting that. But seven months in, the evidence still doesn’t match the launch narrative.”
(意味:AI は脆弱性を見つけるのに価値のあるツールで、それは否定しない。でも 7 ヶ月たって、証拠はまだ launch のときの話と合っていない。)
この記事への Anthropic の公開の返事を探したけど、11月11日の時点では見つからなかった。これは俺の探し方について何かを言っているだけだ。返事があるかどうかについては、何も言っていない。
データから言えないこと #
このデータで分かるのは、curl のバッチに、false positive があること。少なくとも、重要ではないと判断された finding がある。1 人の maintainer のラベルで見て、だ。それに、本物の fix もある。Anthropic 自身の数では、ledger に 217、dashboard に 629 だ。
この話の中で、scanner が見つけられなかったものを測った人は、誰もいない。報告を受け取る maintainer にとっての、全体の cost と benefit も、測られていない。これがうまくいっているのか、悪いのかは、このデータからは俺には言えない。
確認できなかったもの:VulnCheck KEV の membership、HackerOne の報告、VulnCheck の記事のチャート画像、そして VulnCheck がデータを取った正確な時間。Anthropic に聞きたい質問を 1 つだけ選ぶなら、217 と 629 の話だ。
この手の話が、自分の inbox に来たとき #
ソフトウェアをメンテしているなら、出会うのは dashboard じゃなくて、AI が作った 1 通の報告だ。そのとき、5 つのチェックは短いリストになる:
- 何を数えているのか? 自分で試して、同じ結果が出るか見る。自分のマシンで、失敗するテストか crash にできない報告は、まだ仮説だ。これは Anthropic 自身の用語集が、candidates に使っている言葉でもある。
- 分母(denominator)は何か? duplicate かどうかを確認する。すでに追っている issue の duplicate か、同じバッチの別の報告の duplicate か。Anthropic 自身の ledger も、自分の finding 1,654 件を、あとから merge しなければならなかった。
- 同じグループを、同じルールで数えたか? vendor の true-positive rate が、どのグループで測られたのか、そして何が true なのかを聞く。会社が reviewed した candidates の率は、“won’t fix” も true に数える。その率は、まだ review されていない自分のリポジトリには、あまり使えない。
- いつ数えたのか? 日付とルールを聞く:何の割合で、いつ数えて、どのルールか。34 個のバッチのラベルは、2 日で 19 / 6 / 9 から 27 / 5 / 2 に動いた。
- 誰が数えるのか? そのラベルを誰がつけたのか、何のリストと比べて測ったのかを聞く。そして、自分で確認できないことは何か、覚えておく。