Le crawler Lycos

Vous voyez passer Lycos/1.0 dans vos journaux ? C'est le crawler de Lycos Search, le moteur de recherche de sites de Lycos.fr.

Ce qu'il fait

Il visite la page d'accueil d'un site pour y lire trois éléments : le titre de la page, sa description et son premier titre principal. Ils servent à présenter le site dans les résultats de recherche.

Une requête vers /robots.txt, puis une vers la page d'accueil.
Il ne suit pas les liens, ne soumet aucun formulaire et n'exécute pas de JavaScript.

Comment il s'identifie

Mozilla/5.0 (compatible; Lycos/1.0; +https://lycos.fr/crawl)

Vérifier son identité

Chaque requête du crawler est signée avec Web Bot Auth (signatures de messages HTTP, RFC 9421). Elle porte l'en-tête Signature-Agent: "https://search.lycos.fr" ; la clé publique est publiée à l'adresse https://search.lycos.fr/.well-known/http-message-signatures-directory. Une requête qui se réclame de Lycos/1.0 sans signature valide ne vient pas de nous.

Clé publique en vigueur, algorithme Ed25519, au format JWK, avec l'identifiant de clé (keyid) qui figure dans l'en-tête Signature-Input de chaque requête :

{"crv":"Ed25519","kty":"OKP","x":"zS8We637j0Tj-qtlQAACW36_o1xib2BWbwZece29oU0"}

keyid : r9bsNNqbAc6D7G6zjf8QWYnmMFQ1lMUS5Dcysm3I3_Y

Les clés en vigueur font foi à l'adresse de l'annuaire ; en cas de rotation, cette page affiche la nouvelle clé.

Le bloquer

Le crawler lit votre robots.txt avant chaque visite et respecte les règles du groupe Lycos. Pour lui interdire tout le site :

User-agent: Lycos
Disallow: /

La règle s'applique dès sa visite suivante.

Nous contacter

Pour une demande d'exclusion ou un comportement anormal, écrivez à contact@lycos.fr en indiquant votre domaine, l'adresse IP et l'heure des requêtes concernées.

In English

Lycos/1.0 is the crawler of Lycos Search. It fetches /robots.txt and the homepage of a site to read its title, meta description and first heading, which are shown in search results. It follows no links, submits no forms and runs no JavaScript. Every request is signed with Web Bot Auth (Signature-Agent "https://search.lycos.fr", keys at https://search.lycos.fr/.well-known/http-message-signatures-directory; the current Ed25519 public key and its keyid are shown above, the directory is authoritative). It honours robots.txt rules for the Lycos user agent; User-agent: Lycos with Disallow: / excludes your whole site. Contact: contact@lycos.fr.