ChatGPTのクロールをブロックする方法
AI
2023年9月28日
海外のSEO関連のウェブサイトを見ていたら、「上位100のウェブサイトのうち26%がGPTBotをブロックしている」という記事に目が留まりました。そこで今回は、ChatGPTのクロールをブロックする方法と、その記事を読んで得た印象や考えを共有したいと思います。
参照記事:Search Engine Land
https://searchengineland.com/more-popular-websites-blocking-gptbot-432531
この記事によると以下のサイトがGPTBotをブロックしているとのことです。
- pinterest.com
- indeed.com
- theguardian.com
- sciencedirect.com
- usatoday.com
- stackexchange.com
- alamy.com
- webmd.com
- dictionary.com
- washingtonpost.com
- npr.org
- cbsnews.com
目次
ChatGPTのクロールはrobots.txtでブロック可能
元々、ChatGPT自体がサイトをクロールするわけではありませんが、サードパーティー製のプラグインを利用することで、プラグインがサイトにアクセスできるようになります。
プラグインによるクロールを防ぐためには、robots.txtに以下のコードを追加します。
User-agent: ChatGPT-User
Disallow:
ブロックの方法はChatGPTのドキュメントに詳しく記載されていますので、詳細を知りたい方はそちらを参照してください。
ドキュメント
https://platform.openai.com/docs/plugins/bot
ChatGPTのクロールはブロックすべき?
私の個人的な考えとしては、ChatGPTをブロックすべきではないと思います。私はWebをオープンでパブリックの場と見なしており、新しい技術の発展には協力的に取り組みたいと思っています。たとえウェブサイトがChatGPTをブロックしたとしても、少し手間をかければGoogleで検索することで、その情報はウェブ上で公開されている限り得られます。
ただし、盗用や著作権の問題については慎重に考慮し、適切な対策を講じる必要があります。これらの問題を解決し、適切に管理することで、新しい技術を積極的に受け入れたいですね。