Teisingas robots.txt

Failas robots.txt — tai yra pagrindinis failas, aprašantis tvarkymo taisyklės puslapių paieškos robotai. Šį failą reikia nurodyti pagrindinį vardą svetainės sitemap (sitemap.xml), atvirų ir uždarų svetainės skyrių.
Failas robots.txt apima šią direktyvą:

• User-agent — direktyva указывающая kokio robotas ţemiau taisyklės
• * - visi robotai
• Google maps — pagrindinis robotas Яндекс
• Googlebot — pagrindinis "Google" robotas
• StackRambler — paieškos robotas Рамблер
• Aport — paieškos robotas Апорт
• Slurp — robotas "Yahoo"
• MSNBot — robotas MSN
• Uždrausti — direktyva draudimo dalis svetainės
• Allow — direktyva leidimo dalis svetainės
• Host — direktyva nurodymai pagrindinio vardo svetainės
• Sitemap— direktyva nurodymai kortelės svetainės (sitemap.xml)
• Crawl-delay — direktyva указывающая kiek sekundžių robotas gali laukti atsakymo iš svetainės (būtina turėti į labai kuriuos šaltinius, kad robotas ne pamanė svetainė nepasiekiamas)
• Clean-param — direktyva описывающая dinaminių parametrų, turinčių įtakos svetainės turinį

Помимо директив в robots.txt используются спец символы:

• * - любай (įskaitant ir tuščia) simbolių seka
• $ — yra apribojimas taisyklės

Norėdami sudarymo robots.txt naudojami minėtas direktyvos ir спет simboliai pagal kitą principą:

• Nurodomas vardas robotas, kurio rašybos taisyklių sąrašas
  (User-agent: * - paprastai visi robotai)
• Parašyta sąrašas draudžiamų šios svetainės nurodyto robotas
  ( Uždrausti: / - draudimas indeksavimo tik svetainės)
• Parašyta sąrašas leistinų svetainės skyrių
  (Allow: /home/ — leistinas skyrius "home")
• Nurodomas svetainės pavadinimas
  (Host: crazysquirrel.ru — pagrindinis vardas svetainės crazysquirrel.ru)
• Rodo absoliutų kelią iki failo sitemap.xml
  (Sitemap: https:// crazysquirrel.ru/sitemap.xml)

Jei svetainėje nėra draudžiama, pertvaros, robots.txt turi būti sudarytas mažiausiai iš 4 строчек:

Patikrinti robots.txt ir tai, kaip jis įtakos indeksavimo svetainės galima naudojant įrankių Яндекса