| Scopri come uno spider vede il tuo sito. L'esempio prende in considerazione i maggiori spider inclusi Google, MSN e Yahoo! - Gjlg Metamotore |
Web crawlerUn web crawler (detto anche web spider o web robot), è un automa software che analizza i contenuti del World Wide WebUn web crawler (detto anche web spider o web robot), è un automa software che analizza i contenuti del World Wide Web in un modo metodico e automatizzato, in genere per conto di un motore di ricerca.Un web crawler è un tipo di bot (programma o script che automatizza delle operazioni tipicamente eseguite da utenti umani). I web crawler non mantengono soltanto una copia di tutte le pagine visitate per poi successivamente analizzarle - per esempio con un motore di ricerca - ma le indicizzano per rendere la ricerca più veloce e precisa. In generale, il web crawler prende in input una lista di URL da visitare. Durante l'analisi di un URL, identifica tutti gli hyperlink presenti in questa pagina e li aggiunge alla lista di URL da visitare. Il processo può essere concluso manualmente o dopo che un determinato numero di collegamenti è stato percorso. I web crawler tipicamente diluiscono le visite in periodi di tempo abbastanza lunghi, perché accedono a molte più pagine di un utente (umano) normale e possono rallentare notevolmente la visita di un sito ai normali utenti se accedono ripetutamente alle stesse pagine. Per i motivi simili, i web crawler sono obbligati ad obbedire al protocollo "robots.txt", file nel quale i proprietari di Web site possono indicare quali pagine non dovrebbero essere analizzate. Fonte: Wikipedia l'enciclopedia libera. |