この記事は クローラー／Webスクレイピング Advent Calendar 2015 の15日目の記事です。 昨日の記事は dimgraycatさんによる とりあえずPHPでWebスクレイピングしてみたい人向けパッケージ - Qiita でした。 happyou.infoというサイトを開発している@shogook…

FinalScraperを発表してから１ヶ月位たったのでまとめておこうと思う。 動作はかなり安定していると思う。 サービスを公開した本来の目的であるところの、「正しく検出できないパターンについてユーザさんにクレームを付けてもらう」が全く達成できていない…

9/29日から上場企業と地方自治体のRSSフィードが更新できていませんでした。現在は修復されました。APIやFinalScraperに問題は発生していませんでした。 非公開のWebサーバに大量のリクエストがあり、エラーログによりディスクが100%消費されてしまったこと…

Final ScraperはRSSを出力しないウェブページをパターン解析し、RSSフィードを出力するサービスです。 ようやく安定して動作するようになりましたのでリリースしました。ご利用は無料です。 Happyou Final Scraper 同様のサービスは他にも存在しますが、Fina…

書いたんですけど、テクニカルな記事だったし、あまり反応もなかったので、Qiitaというサイトに移転しました。 qiita.com

happyou.infoは、国内のすべての上場企業3649社とすべての地方自治体1981サイトのウェブサイトからRSSフィードを作成し、happyou.info内にて無料公開します(*1)。 happyou.infoのトップページ Final ScraperFinal Scraper はHTMLページのパターン解析を行い…