Τα web robots ή crawlers ή spiders

Στο internet, εκτός από ανθρώπους, κυκλοφορούν επίσης και "ρομπότ", τα λεγόμενα web robots ή crawlers ή spiders. Πρόκειται για ειδικό λογισμικό, που έχει δημιουργηθεί ώστε να επισκέπτεται ιστοσελίδες και να συλλέγει πληροφορίες από αυτές.

Υπάρχουν διάφορα είδη web robots, ανάλογα με τις πληροφορίες που συλλέγουν και τις λειτουργίες που εκτελούν. Μερικά ενδεικτικά είδη, είναι τα εξής:

Οι crawlers των μηχανών αναζήτησης, που χρησιμοποιούνται για να διαβάζουν ιστοσελίδες ώστε να εμφανίζονται αυτές στα αποτελέσματα των μηχανών αναζήτησης.

Web robots που χρησιμοποιούν οι aggregators προκειμένου να ελέγχουν τα RSS Feeds για νέο περιεχόμενο.

Διάφορα Spam robots, που για παράδειγμα συλλέγουν διευθύνσεις email που εμφανίζονται σε ιστοσελίδες ώστε να σταλούν αργότερα σε αυτές spam email.

Έτσι, τα web robots, άλλοτε είναι θεμιτό να επισκέπτονται μια ιστοσελίδα, και άλλοτε δεν είναι.