OpenAIは2026年10月30日、Webサイト運営者が生成AIの基盤モデル学習に関する希望を複数の参加事業者へまとめて伝えられる、robots.txtの共通信号を尊重すると発表しました。
ただし、現時点ではIETF（Internet Engineering Task Force）で検討中のInternet-Draftです。正式な標準ではなく、OpenAIも「今後数カ月で実装を目指し、詳細は改めて知らせる」としています。今すぐ既存設定を置き換える発表ではありません。
OpenAIの発表、IETF草案、OpenAIクローラーの公式説明を2026年10月31日に確認し、仕組みとサイト運営者の確認順を整理します。
共通信号で何が変わるのか
これまで、AI学習への利用を望まないサイトは、事業者ごとのクローラー名を確認して個別にrobots.txtへルールを書く方法が中心でした。提案中の共通信号は、同じ学習目的について、対応する複数事業者へ一つのルールで希望を伝えやすくする考え方です。
| 項目 | 2026年10月31日時点の状況 |
|---|---|
| 対象 | 基盤となる生成AIモデルの学習に関する利用希望 |
| 記載場所 | Webサイト直下のrobots.txt |
| 提案中の識別子 | __usage_ai-training |
| 標準化状況 | IETFの個人Internet-Draft。正式な標準ではない |
| OpenAIの対応 | 今後数カ月での実装を目指す。詳細は後日発表 |
| 既存ルール | GPTBotなど事業者別の設定は引き続き有効 |
提案されているrobots.txtの書き方
IETF草案には、次の例が示されています。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/この例は、サイト全体についてAI学習への利用を望まない一方、/press-kit/以下は利用を認める希望を表します。DisallowとAllowは、ここでは学習目的の利用希望を表すために使われています。
この記述は、2026年10月31日時点では草案の例です。対応事業者の実装時期、既存の管理画面や契約との優先関係、ホスティングサービスでの設定方法は、今後の正式案内を待つ必要があります。
クローラー制御とは別の仕組み
草案は、学習への利用希望と、クローラーのアクセス制御は独立したものと説明しています。共通信号にDisallowを書いたからといって、すべてのクローラーのアクセスが自動で止まるわけではありません。
| OpenAIの識別子 | 主な目的 | 現在の確認ポイント |
|---|---|---|
OAI-SearchBot |
ChatGPTの検索結果でWebサイトを見つけ、表示するため | 検索で見つけてもらいたい場合は、誤って遮断していないか確認 |
GPTBot |
生成AIの基盤モデル学習に使う可能性がある内容の収集 | 学習への利用を望まないページは、現在の公式案内に沿って設定 |
ChatGPT-User |
利用者の操作に応じてページへアクセス | 自動クローリングではなく、robots.txtが適用されない場合がある |
__usage_ai-training |
複数事業者へ学習利用の希望を伝える提案中の共通信号 | 正式標準・実装詳細の発表前。既存設定の代替にしない |
OpenAIは、OAI-SearchBotとGPTBotの設定を別々に扱うと説明しています。たとえば、ChatGPT検索から見つけてもらうためOAI-SearchBotを許可しつつ、GPTBotには学習利用を望まない希望を示す設定が可能です。
サイト運営者が今確認したい5項目
- 現在のrobots.txtを保存する：変更前の内容と確認日を記録し、復元できる状態にする。
- 目的を分ける：Googleなどの検索、ChatGPT検索、AI学習、利用者が指定したアクセスを混同しない。
- 既存の個別設定を確認する：GPTBotやOAI-SearchBotを意図せず一括遮断していないか確認する。
- 草案をそのまま本番へ追加しない：OpenAIと利用中のCMS・ホスティングサービスが実装方法を案内してから判断する。
- 変更後に検証する：robots.txtのHTTP応答、構文、検索クローラーへの影響、アクセスログを確認する。
特に、User-Agent: *の設定と共通信号を同じ意味で扱わないことが大切です。IETF草案では、ワイルドカードのグループを共通の学習用識別子へ一致させない考え方が示されています。
すぐ変更しないほうがよい理由
- Internet-Draftは更新・置換・失効する可能性がある
- OpenAIの実装は今後数カ月の予定で、具体的な開始日は未発表
- 対応するAI事業者と解釈方法が今後変わる可能性がある
- CMSやSEOプラグインがrobots.txtを自動生成している場合、手動編集が上書きされることがある
- 誤ったルールは、検索流入や必要なクローラーのアクセスに影響する可能性がある
今は、現状を記録し、学習と検索表示に関する方針を決めておく段階です。実装の正式案内が出たら、既存の個別ルールと照合して必要最小限に変更すると安全です。
確認手順の例
https://自分のドメイン/robots.txtを開き、現在の内容を保存する- CMS、SEOプラグイン、CDNのどこがrobots.txtを生成しているか確認する
- OAI-SearchBot、GPTBot、主要検索クローラーのルールを一覧にする
- OpenAIと利用サービスの正式な実装案内を確認する
- テスト環境または復元手順を用意してから本番へ反映する
- 反映後、HTTP 200、内容、サイトマップ記載、検索・AI検索への影響を確認する
よくある質問
この共通信号はもう正式なIETF標準ですか？
いいえ。2026年10月31日時点では、個人が提出したInternet-Draftです。IETFの承認を受けた正式標準ではありません。
今すぐGPTBotの設定を削除してよいですか？
削除しないでください。OpenAIは、共通信号が既存のrobots.txtによるクローラー制御を置き換えるものではなく、従来の設定も引き続き尊重すると説明しています。
共通信号でChatGPT検索への掲載も止まりますか？
学習利用の希望と検索表示の制御は別です。ChatGPT検索への掲載はOAI-SearchBotの設定を確認します。検索から外す判断は流入への影響があるため、目的を分けて検討してください。
関連情報
出典・確認日
- OpenAI「Making it easier for websites to express AI training preferences」（2026年10月30日公開、10月31日確認）
- IETF Datatracker「Machine-Readable Training Preference Signal」（草案00、2026年10月30日更新、10月31日確認）
- OpenAI「Overview of OpenAI Crawlers」（2026年10月31日確認）
アイキャッチはWebサイトのコードを扱う作業環境のイメージで、OpenAIやIETFの公式画面ではありません。写真：Ferenc Almasi / Unsplash。仕様は変更される可能性があるため、反映前に公式情報を再確認してください。
コメント