Højre robots.txt

Fil robots.txt er den vigtigste fil, der beskriver regler for behandling sider af søgemaskinerne. Denne fil er nødvendig for at angive den primære navn på websted, site map (sitemap.xml), offentlige og private dele af hjemmesiden.
Fil robots.txt indeholder følgende direktiver:

• User-agent-Direktiv angiver, at hvad robot følgende regler
• * - alle robotter
• Yandex — main robot Yandex
• Googlebot — Googlebot er det vigtigste
• StackRambler — søgemaskine Rambler
• Aport — Aport søgemaskine
• Slurp er Yahoo ' s robot
• MSNBot er MSN-robot
• Forbyd Direktiv er forbuddet en del af webstedet
• Give — Direktiv tillader del af hjemmesiden
• Host — Direktiv angive den primære navn på websted
• Sitemap— Direktiv vejledning et oversigtskort (sitemap.xml)
• Crawl-delay-Direktiv angiver, hvor mange sekunder robotten kan vente på et svar fra sitet (påkrævet for tungt lastet ressourcer, så robotten ikke overveje at hjemmesiden ikke er tilgængelig)
• Clean-param Direktiv, der beskriver den dynamiske parametre påvirker ikke indholdet af hjemmesiden

Помимо директив в robots.txt используются спец символы:

• * - lubi (herunder tomme) sekvens af tegn
• $ — er en begrænsning af regler

Til at kompilere robots.txt brug de ovenstående retningslinjer og sunget af de tegn, som følger:

• Angiver navnet på den robot, som er skrevet af en liste af regler
  (User-agent: * - reglen for alle robotter)
• Stave en liste over forbudte dele af hjemmesiden til den angivne robot
  ( Disallow: / - forhindrer indeksering af hele websitet)
• Stave en liste over tilladte dele af hjemmesiden
  (Tillad: /home/ — partition hjem tilladt)
• Angiver navnet på hjemmesiden
  (Vært: crazysquirrel.ru — det primære navn på websted crazysquirrel.ru)
• Angiver den absolutte sti til den fil sitemap.xml
  (Sitemap: https:// crazysquirrel.ru/sitemap.xml)

Hvis webstedet ikke har nogen ulovlige emner, robots.txt skal være mindst 4 linjer:

Check robots.txt og hvordan påvirker det indeksering af hjemmeside ved hjælp af værktøjer, Yandex