Home Perl [Perl] Crawler - skrypt ściągający informację o linkach z WWW

[Perl] Crawler - skrypt ściągający informację o linkach z WWW

Email

Skrypt ściąga informację z trzech wyszukiwarek zapisuje linki do pliku, nie ma zaimplementowanego mechanizmu sprawdzania czy linki się powtarzają ale nie jest to trudne więc polecam do dalszej rozbudowy...

pomysły co dalej z nimi robić należą już do Was

 

#!/usr/bin/perl

use LWP::Simple;
require LWP::Parallel::UserAgent;
require HTTP::Request;

use URI::Escape;
use HTML::Parse;
unless ( @ARGV ) {

print "usage: crawler.pl zapytanie\n";
exit( 1 );
}

......aby zobaczyć cały artykuł zaloguj się lub zarejestruj.....
Share Link: Share Link: Bookmark Google Yahoo MyWeb Del.icio.us Digg Facebook Myspace Reddit Ma.gnolia Technorati Stumble Upon
Poprawiony: niedziela, 20 marca 2011 10:14  

Key Concepts

Login Form