HACK#47 การ scrape Google News

-
การ scrape Google News นั้นก็เพื่อที่จะได้ข่าวล่าสุดจากศูนย์รวมข่าวนับพันแห่ง
เนื่องจาก Google News นั้นได้รวมรวมข้อมูลมากมายจากแหล่งรวมข่าวนับพันแห่ง (Hack #32) ดังนั้นจึงเป็นแหล่งสืบค้นสำหรับนักวิจัยได้อย่างวิเศษ อย่างไรก็ตาม คุณไม่อาจเข้าถึง Google News ผ่านทาง Google API ได้ ดังนั้นคุณจึงต้อง scrape Google News ผ่านโค้ด HTML ของหน้าเว็บที่เป็นผลลัพธ์ที่ได้จาก Google News ซึ่งในแฮกนี้ก็ทำตามนั้น แล้วรวบรวมผลให้อยู่ในรูปไฟล์ comma-delimited อันเหมาะสำหรับการถ่ายโอนไปยังไฟล์สเปรดชีตหรือฐานข้อมูล โดยในแต่ละข่าวก็จะแยกส่วนของ Title, URL, แหล่งที่มา (เช่น สำนักข่าว), วันที่ตีพิมพ์หรืออายุของข่าว และ รายละเอียดโดยสรุปออกมา
เนื่อง จากข้อตกลงในการให้บริการนั้นห้ามการเข้าถึง Google อย่างอัตโนมัติโดยไม่ผ่าน Google API ดังนั้นการแฮกในหัวข้อนี้จึงไม่ได้เชื่อมต่อกับ Google โดยตรง แต่เป็นการทำงานบนหน้าเว็บของผลลัพธ์ที่คุณบันทึกมาจากการสืบค้น Google News ที่คุณเป็นคนดำเนินการเอง และบันทึกเป็นไฟล์ HTML โดยใช้คำสั่ง File -> Save As ของเว็บเบราเซอร์
ทั้ง นี้ควรตรวจสอบให้ดีว่าผลลัพธ์นั้นเรียงตามวันที่ไม่ใช้เรียงตามความสัมพันธ์ เพราะถ้าผลลัพธ์เรียงตามความสัมพันธ์ข้อมูลบางส่วนจะหายไป อันเป็นผลมาจากเรื่องที่คล้ายกันจะถูกรวมไว้ด้วยกัน การเลือกเรียงข้อมูลตามวันนั้น ทำได้โดยการเลือกลิงก์ “Sort by Date” ในหน้าเว็บแสดงผลของการสืบค้น หรือโดยการเติม &scoring =d ในตอนท้ายของ URL และอย่าลืมที่จะเติม &num= 100 เพื่อที่จะได้ผลลัพธ์จำนวนมากพอ ดังตัวอย่างในภาพที่ 4–2 แสดงผลของการคิวรีหา monk detective โดยคาดการณ์ไว้ว่าจะพบข้อมูลเกี่ยวกับโชว์ชื่อดังเกี่ยวกับนักสืบอารมณ์ดี เรื่อง “Monk”
โค้ดตัวอย่าง
#!/usr/bin/perl
# news2csv.pl
# Google News Results exported to CSV suitable for import into Excel
# Usage: perl news2csv.pl < news.html > news.csv
print qq{"title","link","source","date or age", "description"\n};
my %unescape = ('<'=>'<', '>'=>'>', '&'=>'&',
'"'=>'"', ' '=>' ');
my $unescape_re = join '|' => keys %unescape;
my($results) = (join '', <>) =~ m!(.*?)!mis;
$results =~ s/($unescape_re)/$unescape{$1}/migs; # unescape HTML
$results =~ s![\n\r]! !migs; # drop spurious newlines
while ( $results =~ m!(.+?)(.+?) - (.+?)(.+?)!migs ) {
my($url, $title, $source, $date_age, $description) =
($1||'',$2||'',$3||'',$4||'', $5||'');
$title =~ s!"!""!g; # double escape " marks
$description =~ s!"!""!g;
my $output =
qq{"$title","$url","$source","$date_age","$description"\n};
$output =~ s!!!g; # drop all HTML tags
print $output;
}
การใช้งานสคริปต์
รัน สคริปต์ที่ command line โดยระบุชื่อไฟล์ HTML ที่เป็นผลจากการสืบค้น Google News และชื่อไฟล์ CSV ที่คุณต้องการสร้าง หรือที่คุณต้องการเพิ่มข้อมูลเข้าไปต่อท้าย (append) ตัวอย่างเช่น การใช้ไฟล์ news.html เป็นอินพุต และไฟล์ news.csv เป็นเอาต์พุต ให้ระบุดังนี้
$ perl new2cvs.pl <> news csv
ถ้าตัดเครื่องหมาย > และไฟล์ news.csv ออก ผลของการรันสคริปต์นี้จะแสดงขึ้นมาบนหน้าจอแทน

(หน้า 127)
ผลของการแฮก
ข้าง ล่างนี้เป็นส่วนหนึ่งของผลการสืบค้นจำนวน 54 รายการที่ได้มาจากการสืบค้น Google News โดยใช้คำว่า monk detective และใช้ HTML อันเป็นผลของการสืบค้นจากที่แสดงไว้ในภาพที่ 4-2
"title","link","source","date or age", "description"
"ON TV : That Was Then is already gone",
"http://www.nwanews.com/adg/story_style.php?storyid=9127",
"Arkansas Democrat Gazette, AR",
"12 hours ago",
" ... The daffy detective series began life on cable<92>s USA Network,
where it does well ... USA will air the season finale,"" Mr. Monk ... "
"`Miami' and WB shows are hot; UPN is not; and `Push, Nevada' is, ... ",
"http://www.bayarea.com/mld/bayarea/entertainment/television/...",
"Piedmonter, CA",
"14 Oct 2002",
" ... Remember the note I had that ``Monk'' -- the refreshingly quirky
USA detective dramarepeated on ABC -- would air Thursdays ... "
...
"Indie Film Fest hits New Haven",
"http://www.yaledailynews.com/article.asp?AID=19740",
"Yale Daily News",
"20 Sep 2002",
" ... The Tower of Babble,"" directed by Beau Bauman '99, and
""Made-Up,"" which was directed by Tony Shalhoub DRA '80, who
also stars in the USA detective show ""Monk."". ... "
(ในแต่ละรายการจะแสดงในบรรทัดของตัวเอง แต่ในที่นี้ในแต่ละรายการต้องมีการขึ้นบรรทัดใหม่ เพื่อความสะดวกในการตีพิมพ์)
Hacking the Hack
โดย ส่วนใหญ่ของโปรแกรม คุณแทบจะไม่ต้องแก้ไขอะไร เพราะว่ามันได้ถูกเขียนอย่างเป็นเหตุเป็นผลเข้ากับรูปแบบของ Google News แล้ว แต่หากว่าคุณเกิดไม่ชอบใจกับการจัดระเบียบข้อมูล ที่ได้จากผลของการสืบค้นแล้วล่ะก็ คุณอาจจะเปลี่ยนแปลงมันได้ โดยทั้งนี้อย่าได้ลืมใส่สัญลักษณ์คอมมาระหว่างแต่ละหัวข้อด้วย เช่น
my $output =
qq{"$title","$url","$source","$date_age","$description"\n};
แต่คุณต้องการเพียงแค่ URL และ title เท่านั้น อย่างอื่นไม่ต้องการ ก็ควรจะเขียนโค้ดดังนี้
my $output =
qq{"$url","$title"\n};
โดย \n นั้นหมายถึง บรรทัดใหม่ และเครื่องหมาย $ นั้นบอกว่า $url และ $title คือ ชื่อของตัวแปร โดยให้แสดงไว้ด้วยกัน
และแน่นอนว่า เอาต์พุตที่คุณได้ตอนนี้จะไม่เข้ากันกับหัวข้อที่อยู่ด้านบนของไฟล์ CVS เพราะว่าโดย default จะเป็น
print qq{"title","link","source","date or age", "description"\n};
ดังนั้น จากตอนต้นก็ให้เปลี่ยนโค้ดให้เข้ากัน ดังนี้
Print qq { “$url” , “$title”\ n };

โพสต์ยอดนิยมจากบล็อกนี้

ปัญหาและเฉลยธรรม นักธรรมชั้นโท สอบในสนามหลวง พ.ศ. ๒๕๔๓ วันพฤหัสบดี ที่ ๑๖ พฤศจิกายน พ.ศ. ๒๕๔๓

-
๑ . ๑ . ๑ ปริเยสนา ๒ อย่างตามความในพระสูตรท่านแสดงไว้อย่างไร ? ๑ . ๒ ภิกษุควรแสวงหาเลี้ยงชีพอย่างไรจึงเป็นการแสวงหาอย่างประเสริฐ ? ๑ . ๑ . ๑ แสดงว่า แสวงหาสิ่งอันมิใช่ของมีชรา พยาธิ มรณะ โสกะและสังกิเลส เป็นธรรมดา คือธรรมอันเกษมมีพระนิพพานเป็นอย่างสูง จัดเป็นอริย   ปริเยสนา   แสวงหาสิ่งอันมีชรา พยาธิ มรณะ โสกะและสังกิเลสเป็นธรรมดา ทั้งที่สภาพเช่นนั้นก็มีในตนอยู่พร้อมแล้ว จัดเป็นอนริยปริเยสนา ๑ . ๒ ภิกษุแสวงหาเลี้ยงชีพโดยอุบายอันสมควร ทั้งไม่เป็นโลกวัชชะมีโทษทางโลกและไม่เป็นปัณณัตติวัชชะ มีโทษทางพระบัญญัติ ไม่สร้างความเดือดร้อนให้แก่ตนและผู้อื่นจึงจะเป็นการแสวงหาอย่างประเสริฐ ๒ . ๒ . ๑ ปรีชาหยั่งรู้อะไรจัดเป็นกิจจญาณ ? ๒ . ๒ สิกขาคืออะไร ?   มีเท่าไร ?   อะไรบ้าง ? ๒ . ๒ . ๑ ปรีชาหยั่งรู้ว่า ทุกข์เป็นธรรมชาติที่ควรกำหนดรู้ ทุกขสมุทัยเป็นสภาพที่ควรละเสีย ทุกขนิโรธเป็นสภาพที่ควรทำให้แจ้ง ทุกขนิโรธคามิน...
bannk

ปัญหาและเฉลยวินัยบัญญัติ นักธรรมชั้นเอก สอบในสนามหลวง พ.ศ. ๒๕๔๓ วันเสาร์ ที่ ๑๘ พฤศจิกายน พ.ศ. ๒๕๔๓

-
๑ . ๑ . ๑ การตั้งญัตติและสวดอนุสาวนามีอยู่ในกรรมอะไรบ้าง ในสังฆกรรม ทั้ง ๔ ? ๑ . ๒ สังฆกรรม ๔ นั้น อย่างไหนต้องทำในสีมา อย่างไหนทำนอกสีมาก็ได้ ? ๑ . ๑ . ๑ การตั้งญัตติ มีในญัตติกรรม ญัตติทุติยกรรม และญัตติจตุตถกรรม ส่วนการสวดอนุสาวนา มีในญัตติทุติยกรรม และญัตติจตุตถกรรม ๑ . ๒ ญัตติกรรม ญัตติทุติยกรรม และญัตติจตุตถกรรม ต้องทำในสีมาเท่านั้น               ทำนอกสีมาไม่ได้ เพราะต้องตั้งญัตติ ส่วนอปโลกนกรรม ทำนอกสีมา ก็ได้ เพราะไม่ต้องตั้งญัตติ ๒ . ๒ . ๑ พัทธสีมามีกำหนดขนาดพื้นที่ไว้หรือไม่ ?   ถ้ามี กำหนดไว้อย่างไร ? ๒ . ๒ สถานที่ที่เป็นสีมาตามพระวินัยไม่ได้ มีหรือไม่ ? เพราะเหตุใด ? ๒ . ๒ . ๑ มีกำหนดไว้ คือกำหนดไม่ให้สมมติสีมาเล็กเกินไปจนจุภิกษุ ๒๑ รูป นั่งไม่ได้และไม่ให้สมมติสีมาใหญ่เกินไปกว่า ๓ โยชน์    สีมาเล็กเกินไปใหญ่เกินไป เป็นสีมาวิบัติ ...
bannk

ปัญหาและเฉลยวิชาธรรม นักธรรมชั้นโท สอบในสนามหลวง วันเสาร์ ที่ ๑๙ พฤศจิกายน พ.ศ. ๒๕๔๘

-
   ๑ .   ตจปัญจกกัมมัฏฐานได้แก่อะไรบ้าง ?   จัดเป็นสมถะหรือวิปัสสนา ?   จงอธิบาย    ๑.   ได้แก่ เกสา โลมา นขา ทันตา และตโจ ฯ   เป็นได้ทั้งสมถะและวิปัสสนา   ถ้าเพ่ง        กำหนดยังจิตให้สงบด้วยภาวนา เป็นสมถะ ถ้าเพ่งพิจารณาถึงความแปรปรวน        เปลี่ยนแปลงไป หรือให้เห็นว่าเป็นทุกข์ คือทนอยู่ได้ยากและทนอยู่ไม่ได้ ต้อง        เสื่อมสลายไปในที่สุด หรือให้เห็นว่าเป็นอนัตตา บังคับบัญชาไม่ได้ ไม่ใช่ตัวตน        พิจารณาเช่นนี้เป็นวิปัสสนา ฯ ๒ .   มหาภูตรูป คือ อะไร ?   มีความเกี่ยวเนื่องกับอุปาทายรูปอย่างไร ?   ๒ .   คือ รูป ที่เป็นใหญ่เป็นประธาน อันประกอบด้วย ธาตุ ๔ ได้แก่ ดิน น้ำ ไฟ ลม ฯ           เป็นที่ตั้งอาศัยแห่งรูปย่อยซึ่งเรียกว่าอุปาทายรูป   เมื่อรูปใหญ่แตกทำลายไป       อุปาทายรูปที่อิงอาศัยมหาภูตรูปนั้นก็แตกทำลายไปด้วย ฯ   ๓ . พระพุทธเจ้าทรงป...
bannk