開発日記/2006-11-04

(official/dev) 内容ベースのspamフィルタと新規postについて -- henoheno †

要約: うまく新規追加できなかったときは、内容を分割して下さい

official, およびdevに対し、 postされたコンテンツからある種のspamのパターンを検出し排除するフィルターを導入しています。これはWiki運営側の大きな問題となっているだろう半自動分散攻撃型spamへの対応として、間に合えば次の PukiWiki 1.4.8に盛り込むつもりのもの *1です。

それなりに機能しており、結果的にofficial/devに少し落ちついた雰囲気が戻って来ているわけですが*2、

この副作用として、BugTrack2やofficial:質問箱3などからの新規postに一定量のURIが含まれている場合、そのpostがブロックされる可能性があります。(ブロックされた場合、即座に処理は止まり、ユーザーには真っ白な画面が表示されます。またその状況と内容が管理者にメールされます。管理者はメールで状況を確認します)

判定基準には余裕を持たせているため、現状見た限り false positive な誤判定*3は起こっていませんが、仮にそのような事が起きた場合、コンテンツを段階的に追加する(一旦ページを作成してから、編集する) 事で回避できます。ご迷惑をおかけするかもしれませんが、よろしくお願いします。

また、これで完全にspamが排除できるわけではありませんので、もし何かありましたらお手数ですが個別のフォローをよろしくお願いします。

なお、NGワード判定型のフィルタとは組合わせる事が可能であると思います。*4

(2006/11/05追記)

spamフィルタの初陣の戦跡は、2006/10/31 0:00 - 2006/11/4 23:59 までの5日間において以下の通りでした。

official: 160回のpostをspamとしてblockしました (false positive 0件)
dev : 111回のpostをspamとしてblockしました (false positive 0件)

彼らの(複数のIPからの)どう見てもリトライとしか思えない挙動も数に入っています。また、一部「判定基準をあらかじめ緩くしておいて良かった」と思えるpostも有り、安心はできませんが、総じて結構助かりました。

(2006/11/12追記)

2006/11/5 00:00 - 2006/11/9 23:59 までの5日間においては以下の通りでした。

official: 180回のpostをspamとしてblockしました (false positive 0件)
dev : 157回のpostをspamとしてblockしました (false positive 0件)

数回づつの動作テストも含まれています。また、どう見てもフィルタの詳細を調べるための攻撃側のテストにしか見えない編集がofficialに来ています(過去にspamしか送っていないIPからのテスト書き込み等)。spam件数も増加しており。いずれにせよいたちごっこは始まっています。

(追記)

2006/11/10 00:00 - 2006/11/14 23:59 までの5日間においては以下の通りでした。

official: 147回のpostをspamとしてblockしました (false positive 0件)
dev : 159回のpostをspamとしてblockしました (false positive 0件)

total:
today:
yesterday:
now: 1

開発日記/2006-11-04

(official/dev) 内容ベースのspamフィルタ と 新規postについて -- henoheno†

最新の16件

(official/dev) 内容ベースのspamフィルタと新規postについて -- henoheno †