Crawlers και μηχανές αναζήτησης

Είχαμε δει και πιο παλιά για τους crawlers, τα είδη των web robots αλλά και τρόπους διαχείρισης των web spiders. Εκτός τα γνωστά bots αλλά και το OOZBOT (στο οποίο είχα αναφερθεί παλιότερα), έκανα μια μικρή λίστα με μερικούς ακόμη crawlers που βλέπω συχνά.

• Kalooga / crawler : Kalooga is an internet search engine for photo albums and image galleries
• dotnetdotcom.org / Dotbot : ...trying to figure out how to make internet data as open as possible
• entireweb / Speedy : Entireweb's goal is to be a leading supplier of search technology solutions...
• Exalead / Exabot : ...is a global software provider in the enterprise and Web search markets
• cuil / twiceler : ...Rather than rely on superficial popularity metrics, Cuil searches for and ranks pages based on their content and relevance
• gigablast / Gigabot : ...with one of the largest and freshest indexes in the world
• whois.sc / Survey Bot : ...monitors Internet Statistics
• (είναι στην λίστα επίσης και κανά δυο κινέζικα και ένα ρώσικο, αλλά για ευνόητους λόγους δεν τα αναφέρω)

Μπορείς να δεις και μια μεγάλη List of all Crawlers!

/ Αυτό το έγραψα στις 07/03/2010 (20:34:57) /