5ちゃんねる ★スマホ版★ ■掲示板に戻る■ 全部 1- 最新50  

■ このスレッドは過去ログ倉庫に格納されています

【毎日新聞】「変態記事の海外配信問題」で謝罪&デジタルメディア局長(明日に取締役就任予定)などの関係者を処分へ★5

770 :名無しさん@全板トナメ参戦中:2008/06/26(木) 01:05:14 ID:GGa+C9Y90

ちょっとおもしろいもの発見したよ
Mainichi Daily Newsのサイトがクローラーをどういうふうに制御しているのかと思って
robots.txtを見てみたw

まず、このURLにアクセス

http://mdn.mainichi.jp/robots.txt

そうすると、こういう文字列が出る

User-agent: ia_archiver
Disallow: /culture

ia_archiverというのはInternet Archiveのクローラー。Disallowは文字通り、「許可しない」という意味。

要するに、「犯行」が行われていた http://mdn.mainichi.jp/culture/のディレクトリ以下の
アーカイブを参照不能にしたいんだねw


309 KB
★スマホ版★ 掲示板に戻る 全部 前100 次100 最新50

read.cgi ver 05.04.02 2018/11/22 Walang Kapalit ★
FOX ★ DSO(Dynamic Shared Object)