« 2009年03月 | メイン | 2009年05月 »

2009年04月30日

TV番組と2ちゃんねるー

新聞ニュースのメール化について、前回「データをどんどん溜めていけ」ということで
Gmailに突っ込んでいますが、一日500件ペースで順調に溜まっています。
(現在は朝日、毎日、読売の3社)


TV番組のメール化については、何とかできそうです。
URLがパラメータで表示されているので、構成を理解すれば結構簡単にできそうです。
テストとしてso-netテレビの宮城県のTV番組データを取得してみましたが、結構いい感じ。
(WebScrapping…できるようになるとめちゃ楽しい笑)


2ちゃんねるに関しては、
ヘッドラインにはRSSが用意されているので、それを使えばOK。
その他のカテゴリーについては、RSSをこちらで用意しなければいけないねと。
因みに、以前はRSS配信サービスが2ちゃんねる公式で用意されていた@Internet Watch(2006/04/12)ようですが、
現在はサービス終了した模様?使う人いなかったのかなぁ??
(追加参考:M.C.P.C. 4月12日の記事)

ブックマークレットという技術を使った2ch RSS menu +(リンク切れ)というサービスもあるみたいだけど
サーバーが落ちてるため詳細は不明。。やれやれ!

2009年04月22日

スクレイピングできたー!嬉

web::scraperを使ってニュースタイトルとそのURL抽出に苦戦してましたが,扱えるようになりました!
しかも,分かってしまえば簡単簡単!さくさく取ってきてくれます!
7行ぽっちのコードで,こんなに綺麗に取ってきてくれるなんて素敵ですねー。

#実行結果
result:
  - link: !!perl/scalar:URI::http http://www.asahi.com/national/update/0422/TKY200904220219.html
    title: 大麻所持の元若麒麟 懲役10カ月執行猶予3年の判決
  - link: !!perl/scalar:URI::http http://www.asahi.com/national/update/0422/TKY200904220081.html
    title: 千葉市長、収賄容疑で逮捕 業者から100万円受領か
  - link: !!perl/scalar:URI::http http://www.asahi.com/culture/update/0422/TKY200904220040.html
    title: 名人、予想外の一手 将棋名人戦第2局2日目
  :
  :

とい訳でコードが簡略化したので,他の新聞サイトのニュースメール化も楽に書き換えられました。
やっぱり個別にタグ除去するよりも,スマートで格好良いですね。

そして,先生から「早く他のメディアにも手を付けんかい!」と怒られたので早速取りかかりたいと思います。
まずは2ちゃんねるの新着タイトル+URLを取得するところから初めようと思うんですが,
diffっつったってどうやらスレッドの順番がコロコロ変わる模様で,単純にHTMLをdiffるんじゃ駄目みたい。
やっぱスレッドができた日にちで見ないとだめだよね。
まずは仕組みから見てみないとなんとも言えないから,覚悟決めて2ちゃんねらーになるしかないかぁ…笑

で,その際に,Feedalizerというサイトを紹介して貰う。
HTMLページからRSSフィードを作成するツールみたいですね。@Ruby
使い方はこことかこことかを参照すると良さげ。色々やってみます。
2009年04月16日

追加作業としては

今週は就活だったり体調崩したりだったりであまり進んでいません。
すいません。今日から頑張ります。

追加で作業したことと言えば,
・asahiのRSSコードを整理したこと
・毎日のコード修正
・Web::Scrapingコード書き(未完成)

2009年04月10日

動作再開

crontabにて自動実行を再開。

新しいマシンになるとperlモジュールやら何やらと初期準備が色々あって大変だあ。
サーバの方も少し放っておいただけでアップデートが100件近く溜まっていたし,
RSSによるメールも1000件以上溜まってて,('Å`)な感じ笑
やっぱり毎日チェックしてトレーニング確認してあげないと駄目ですね。。
そんなこんなで多々諸々の動作再開のための準備作業だけで夕方になってしまった。。。

という訳で準備は整ったので,残っている新聞社のRSSも動かすとともに,
webscrapingを実装させること等々,今後はガンガン進めて行くぞ!!


あと。。。
春だしブログの配色変えたいなあ。。。
めっちゃ秋モードですもんね,今のデザイン。。。

2009年04月08日

Web::Scraperその後…

とりあえずasahi.comの全記事一覧のlistタグで抽出してみました。

そのまま抽出するとこんな感じ。
---
- ''
- ''
- ''
- ''
- ''
- ''
- ''
- ''
- ''
- 社会
- ビジネス
- 政治
- 国際
- 文化
- サイエンス
- 社説
- コラム
- 天気
- 交通
- 動画
- マイタウン
- English
- asahi.com
- ニュース
- 全記事一覧
- 住宅全焼、3人の遺体発見 高齢夫婦と息子か 長野(4/8 09:17)
- NYダウ続落、186ドル安の7789ドル(4/8 08:56)
- 介護職の賃金、月額1.5万円アップ 厚労省方針(4/8 08:12)
- 思わずブレーキ?ダース・ベイダー扮し交通安全 長崎(4/8 07:24)
- 緊急保証枠30兆円に拡大、中小資金繰り支援 経産省(4/8 07:22)
- 石川遼は、19歳マキロイと同組 9日開幕のマスターズ(4/8 05:46)
- ハローワーク臨時増員 正職員304人、非常勤7千人(4/8 05:05)
- ハマちゃんお別れ 「釣りバカ日誌」12月の新作で終了(4/8 04:02)
- 見るたび誓う「七転八起」 高崎だるまのUSBメモリー(4/8 03:14)
- 「保育所使いたい」 潜在待機児童85万人 厚労省調査(4/8 03:03)
- 自称襲撃犯が手記否定発言か 新潮社、朝日新聞社に書面(4/8 03:02)
- 松本清張の取材ノート見つかる 新聞社時代の同僚が保管(4/8 03:02)
- 容疑者、自転車塗り直し畳替え 舞鶴・女子高生殺害(4/8 03:01)
- 北朝鮮への抗議決議、参院でも採択へ(4/8 02:53)
- 大和証券グループ、通期赤字へ(4/8 02:50)
- 三協・立山HD、千人削減方針(4/8 02:49)
- 日銀、成長率予想を下方修正へ(4/8 02:49)
- イクスピアリのテナント賃料めぐりディズニー勝訴(4/8 02:17)
- フジモリ元大統領に有罪判決 民間人殺害でペルー最高裁(4/8 01:28)
- イー・モバイル、契約純増3位 08年度、KDDI抜く(4/8 01:05)
- ヤフーとUSEN、映像配信統合 収益強化めざす(4/8 00:51)
- かんぽ生命、保険金不払い最大80万件 金額は不明(4/8 00:45)
- 民主、子ども手当など前倒し 補正後解散念頭に経済対策(4/8 00:45)
- 健康悪化説後初、金総書記の動画 左手使う場面少なく(4/7 23:53)
- 「オバマ政権には希望」 来日のベネズエラ大統領が会見(4/7 23:52)
- モルドバ議会選、共産党勝利 学生ら、やり直し求め混乱(4/7 23:52)
- 満員のトラファン歓喜 ニュー甲子園(4/7 23:20)
- 中高生の娘2人に売春させた疑い、母親を逮捕 佐賀(4/7 23:19)
- 名古屋ドロー、鹿島は敵地で勝利 サッカーACL(4/7 23:17)
- 秋田2児殺害、高検が上告断念 遺族に伝え謝罪(4/7 23:12)
- 東洋・青学、開幕戦は延長10回ドロー 東都大学野球(4/7 23:09)
- 柏崎刈羽原発7号機、運転再開へ 新潟知事が容認(4/7 23:01)
- オバマ大統領、バグダッド電撃訪問 就任後、初めて(4/7 22:56)
- 西武、本拠地開幕戦を逆転で飾る〈7日のパ・リーグ〉(4/7 22:42)
- アニキ、逆転サヨナラ打〈7日のセ・リーグ〉(4/7 22:31)
- ロッテ・井口が150本塁打と全打順アーチを達成(4/7 22:00)
- イタリア地震、死者207人に 80年以来最大の犠牲者(4/7 21:40)
- イタリア地震で日航、救援物資を無償輸送(4/7 21:32)
- JR東「運行電力確保にめど」 火力発電所フル稼働へ(4/7 21:24)
- 携帯基地局3カ所でケーブルが切られる 神奈川・藤沢(4/7 21:07)
- 替え玉受験は計12人 国家試験の施工管理技士(4/7 21:06)
- 救護被爆者に健康手帳手渡す 広島市長、控訴断念を表明(4/7 21:02)
- ミサイル打ち上げ映像、北朝鮮が公開(4/7 20:43)
- 「どの国にも宇宙利用権」 中国、新安保理決議に否定的(4/7 20:24)
- 広島のブラウン監督が退場 両リーグで今季初の処分(4/7 20:01)
- 教員研修センター係長を収賄容疑で逮捕 業者からテレビ(4/7 19:53)
- ミサイル抗議決議採択「日本の立場を明確に」7日の首相(4/7 19:47)
- KDDI、携帯電話の新ブランド「iida」発表(4/7 19:45)
- 靴投げ記者、インドでも 内相狙い一時拘束(4/7 19:40)
- ヒバクシャの声、20カ国に ピースボートが今夏航海(4/7 19:16)
- WEB
- サイト内
- 買物
- 辞書
- 地図
- 使い方
- '   '
- 会社案内
- 採用情報
- アジアネットワーク
- グループ企業
- 環境への取り組み
- 中之島新ビル建設
- 講演・シンポジウム
- 朝日就職セミナー
- 記事や写真利用案内
- 広告掲載のご案内
- 記事検索
- asahi.com便利ツール
- イベント情報
- 朝日新聞出版の本
- 携帯サービス
- みんなの知恵蔵
- 価格比較するならECナビ
- ディレクトリーに登録しよう
- プロバイダー比較はこちらへ
- ページトップへ戻る
- サイトポリシー
- 個人情報
- 著作権
- リンク
- 広告掲載
- サイトマップ
- お問い合わせ・ヘルプ

ニュース以外の不要な情報を削除すること,URLも抽出すること,
ニュースとURLを1対1対応させることが必要になりますが,
タグによって抽出しているので,ちょっとやそっとのソース変更には強そうです。
長期で運営するなら,Web::Scraperを使ってコーディングする方が現実的かもしれません。

※追記
リンクのタイトルとURLを抽出する上で,参考になるサイトを発見。
Web::Scraper でいい感じのデータ構造になってくれなくて困っているのはどこのどいつだ〜い? アタイだよ!
ここ,初めてこのモジュール使う人にとってはすごく参考になる!おすすめ!
2009年04月06日

macOSXでPHPを動かす

めでたくrootになれたので,PHPを使えるように設定する。

MacOSX10.5では,/etc/apache2/httpd.confを編集してやらないといけないようです。
このファイルはrootでないと編集できないので,ターミナルでrootになった後,/private/etc/apache2/に移動する。で,
vi httpd.conf
と打ってviエディタで中身を編集する。修正箇所は,
#LoadModule php5_module libexec/apache2/libphp5.so
の#を消去(コメントアウトを消す)。そしたらZZで保存。

あとは,「システム環境設定」から「共有」へ行き,「Web共有」にチェックを入れる。
これで設定は終わり。

実際にPHPがきちんと動いているか確認するときは,PHPinfoを試す。
miエディタかなんかを開いて,中身に
<?php phpinfo(); ?>
と一行だけ書いて,ユーザー名>サイトの中に「phpinfo.php」などと名前をつけて保存。

あとはブラウザに行って,アドレスバーに
http://localhost/~ユーザー名/phpinfo.php/
と打って,きちんと表示されればOK。

新しいMacbookのrootのパスワードが分かんなくて焦る

諸事情でPHPをいじることになり,
MacでPHPを使えるようにするために設定を試みる。も,rootになれない!
いつまでたってもパスワードで弾かれてしまうので,
こりゃ先生にパスワード教えてもらうしかないのかなあと思っていた矢先,
なんとMacOSXは,rootアカウントを有効にするために以下の手順が必要とのことでした。

$ sudo passwd root
WARNING: Improper use of the sudo command could lead to data loss
or the deletion of important system files. Please double-check your
typing when using sudo. Type "man sudo" for more information.

To proceed, enter your password, or type Ctrl-C to abort.

Password:
Changing password for root.
New password:
Retype new password:

いやいや,今日の作業が止まるかと思った;