WEBLIC LLC

ブログ

ChatGPTのクロールをブロックする方法

AI

2023年9月28日

chatgpt

海外のSEO関連のウェブサイトを見ていたら、「上位100のウェブサイトのうち26%がGPTBotをブロックしている」という記事に目が留まりました。そこで今回は、ChatGPTのクロールをブロックする方法と、その記事を読んで得た印象や考えを共有したいと思います。

参照記事:Search Engine Land
https://searchengineland.com/more-popular-websites-blocking-gptbot-432531

この記事によると以下のサイトがGPTBotをブロックしているとのことです。

  • pinterest.com
  • indeed.com
  • theguardian.com
  • sciencedirect.com
  • usatoday.com
  • stackexchange.com
  • alamy.com
  • webmd.com
  • dictionary.com
  • washingtonpost.com
  • npr.org
  • cbsnews.com

ChatGPTのクロールはrobots.txtでブロック可能

元々、ChatGPT自体がサイトをクロールするわけではありませんが、サードパーティー製のプラグインを利用することで、プラグインがサイトにアクセスできるようになります。

プラグインによるクロールを防ぐためには、robots.txtに以下のコードを追加します。

User-agent: ChatGPT-User
Disallow:

ブロックの方法はChatGPTのドキュメントに詳しく記載されていますので、詳細を知りたい方はそちらを参照してください。

ドキュメント
https://platform.openai.com/docs/plugins/bot

ChatGPTのクロールはブロックすべき?

私の個人的な考えとしては、ChatGPTをブロックすべきではないと思います。私はWebをオープンでパブリックの場と見なしており、新しい技術の発展には協力的に取り組みたいと思っています。たとえウェブサイトがChatGPTをブロックしたとしても、少し手間をかければGoogleで検索することで、その情報はウェブ上で公開されている限り得られます。

ただし、盗用や著作権の問題については慎重に考慮し、適切な対策を講じる必要があります。これらの問題を解決し、適切に管理することで、新しい技術を積極的に受け入れたいですね。

関連記事

AI

ミッドジャーニーでリアルな画像をChatGPTを使って作る方法

今回はミッドジャーニーでリアルな画像を作る方法をお伝えします。私も含めて初心者が最初につまずくところ...

2023年9月14日

AI

Adobe Expressに生成AI機能Adobe Fireflyが搭載されたので、その実力を試してみた

はじめに、Adobe Expressを知らない方にAdobe Expressを簡単に説明すると、We...

2023年8月24日

AI

AI検索エンジンGensparkを使ってみて思うこと

ベータ版として無料で利用できる「Genspark」を使ってみてどうだったか、感想をお伝えします。「G...

2024年9月9日

AI

ChatGPTでデータ分析をする方法

最近AIネタが続きますが、今回もChatGPTネタになります。今回紹介するのはChatGPTにCSV...

2023年9月6日

AI

Midjourneyで英語のプロンプトが苦手でもイメージ通り画像を生成する方法

画像生成AIのMidjourneyが強力にアップデートしました。Midjourneyは基本英語でプロ...

2023年11月30日

  • カテゴリー

  • 本日、 2人が閲覧しました

    RELATED SITES

    関連サイト

    • SAKAMOTO Blog
    Designed by WEBLIC合同会社