Ruby + Hpricot で 気象庁サイトのスクレイピングに挑戦

Ruby + Hpricot で気象庁サイトのスクレイピングに挑戦

突然、スクレイピングなるものを試してみたくなりました。

Nokogiriを最初考えていたのですが、
Hpricotも良さ気と評判なので、こちらを試してみることにしました。

RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize
参考にさせていただいたサイトです。ありがとうございます。

環境

Mac OS X ( Snow Leopard )
ruby 1.9.3p194

Hpricotのインストール

$ sudo gem install hpricot

1	$ sudo gem install hpricot

薩摩地方の地域時系列予報を取得

天気などを部分的に取得できたら嬉しいな、ということで気象庁のHPよりデータを取得したいと思います。
今回は練習なので出来るだけ簡単に済ませたいので、
地域時系列予報：鹿児島県より
一番最初に出てくる鹿児島県薩摩地方の地域時系列予報を取得します。

# coding: utf-8

require 'hpricot'
require 'open-uri'

doc = Hpricot( open( 'http://www.jma.go.jp/jp/jikei/352.html' ).read )
ann_time = doc.search( 'div#ASFC_ANNOUNCE_TIME' )
ann_description = doc.search( 'td.ASFC_Description' ).first
image = doc.search( 'img#ASFC_IMAGE' ).first
ann_image = 'http://www.jma.go.jp/jp/jikei/' + image[ 'src' ]

print '<!DOCTYPE html>'
print '<html lang="ja">'
print '<head>'
print '	<meta charset="UTF-8" />'
print "<title>#{ann_time.inner_html}</title>"
print '</head>'
print '<body>'
print "<h1>#{ann_description.inner_html}</h1>"
print "<p>#{ann_time.inner_html}</p>"
print "<p><img src=#{ann_image} /></p>"
print '</body>'
print '</html>'

# coding: utf-8

require 'hpricot'

require 'open-uri'

doc = Hpricot( open( 'http://www.jma.go.jp/jp/jikei/352.html' ).read )

ann_time = doc.search( 'div#ASFC_ANNOUNCE_TIME' )

ann_description = doc.search( 'td.ASFC_Description' ).first

image = doc.search( 'img#ASFC_IMAGE' ).first

ann_image = 'http://www.jma.go.jp/jp/jikei/' + image[ 'src' ]

print '<!DOCTYPE html>'

print '<html lang="ja">'

print '<head>'

print ' <meta charset="UTF-8" />'

print "<title>#{ann_time.inner_html}</title>"

print '</head>'

print '<body>'

print "<h1>#{ann_description.inner_html}</h1>"

print "<p>#{ann_time.inner_html}</p>"

print "<p><img src=#{ann_image} /></p>"

print '</body>'

print '</html>'

取得と切り取り処理は５行で終わってます。
凄いですね〜Hpricot。

実行

今回はリダイレクションでHTMLファイルとして出力しました。

$ ruby ファイル名.rb > ファイル名.html

1	$ ruby ファイル名.rb > ファイル名.html

出力されたhtmlです。
改行無いのはご愛嬌(^^;

<!DOCTYPE html><html lang="ja"><head>	<meta charset="UTF-8" />	<title>平成24年08月11日17時 発表</title></head><body><h1>鹿児島県薩摩地方<br />【気温：鹿児島】</h1><p>平成24年08月11日17時 発表</p><p><img src=http://www.jma.go.jp/jp/jikei/images/88317.png /></p></body></html>

1	<!DOCTYPE html><html lang="ja"><head> <meta charset="UTF-8" /> <title>平成24年08月11日17時発表</title></head><body><h1>鹿児島県薩摩地方<br />【気温：鹿児島】</h1><p>平成24年08月11日17時発表</p><p><img src=http://www.jma.go.jp/jp/jikei/images/88317.png /></p></body></html>

ブラウザで開いてみると薩摩地方の地域時系列予報を取得できていました。
だいたい１時間くらいで出来ました。

もっと勉強すれば凄く強力なことが出来そうですね。
簡単に使えるようになりたいスキルです。

月	火	水	木	金	土	日
« 7月				9月 »
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

サイバーまめカン鹿児島の出水市でプログラミングしてる人のブログ

MacとSwift, Ruby, Pythonと温い日常。Linuxも少々。