Come Creare un Web Bot

I motori di ricerca, come Google o Yahoo!, inseriscono le pagine Web nei loro risultati di ricerca usando i Web bot (chiamati anche spider o crawler), che sono programmi che scansionano Internet e indicizzano i siti web in un database. I Web bot possono essere creati usando la maggior parte dei linguaggi di programmazione, inclusi C, Perl, Python e PHP, tutti i quali permettono agli ingegneri software di scrivere script che eseguono compiti procedurali, come scansione e indicizzazione Web.

Passo 1

Apri un'applicazione di editing testo semplice, come Blocco note, incluso in Microsoft Windows, o TextEdit di Mac OS X, dove scriverai un'applicazione Web bot in Python.

Passo 2

Avvia lo script Python includendo le seguenti righe di codice, e sostituendo l'URL di esempio con l'URL del sito web che desideri scansionare e il nome del database di esempio con il database che memorizzerà i risultati:

import urllib2, re, string
enter_point = 'https://www.exampleurl.com'
db_name = 'example.sql'

Passo 3

Includi le seguenti righe di codice per definire la sequenza di operazioni che il Web bot seguirà:

def uniq(seq):
  set = {}
  map(set.__setitem__, seq, [])
  return set.keys()

Passo 4

Ottieni gli URL nella struttura del sito web usando le seguenti righe di codice:

def geturls(url):
  items = []
  request = urllib2.Request(url)
  request.add_header('User', 'Bot_name ;)')
  content = urllib2.urlopen(request).read()
  items = re.findall('href="https://.?"', content)
  urls = []
  return urls

Passo 5

Definisci il database che il Web bot userà e specifica quali informazioni dovrebbe memorizzare per completare la creazione del Web bot:

db = open(db_name, 'a')
allurls = uniq(geturls(enter_point))

Passo 6

Salva il documento di testo e caricalo su un server o computer con una connessione Internet dove puoi eseguire lo script e iniziare a scansionare le pagine web.