Failas robots.txt — tai yra pagrindinis failas, aprašantis tvarkymo taisyklės puslapių paieškos robotai. Šį failą reikia nurodyti pagrindinį vardą svetainės sitemap (sitemap.xml), atvirų ir uždarų svetainės skyrių.
Failas robots.txt apima šią direktyvą:
- User-agent — direktyva указывающая kokio robotas ţemiau taisyklės
- * - visi robotai
- Google maps — pagrindinis robotas Яндекс
- Googlebot — pagrindinis "Google" robotas
- StackRambler — paieškos robotas Рамблер
- Aport — paieškos robotas Апорт
- Slurp — robotas "Yahoo"
- MSNBot — robotas MSN
- Uždrausti — direktyva draudimo dalis svetainės
- Allow — direktyva leidimo dalis svetainės
- Host — direktyva nurodymai pagrindinio vardo svetainės
- Sitemap— direktyva nurodymai kortelės svetainės (sitemap.xml)
- Crawl-delay — direktyva указывающая kiek sekundžių robotas gali laukti atsakymo iš svetainės (būtina turėti į labai kuriuos šaltinius, kad robotas ne pamanė svetainė nepasiekiamas)
- Clean-param — direktyva описывающая dinaminių parametrų, turinčių įtakos svetainės turinį
Помимо директив в robots.txt используются спец символы:
- * - любай (įskaitant ir tuščia) simbolių seka
- $ — yra apribojimas taisyklės
Norėdami sudarymo robots.txt naudojami minėtas direktyvos ir спет simboliai pagal kitą principą:
- Nurodomas vardas robotas, kurio rašybos taisyklių sąrašas
(User-agent: * - paprastai visi robotai) - Parašyta sąrašas draudžiamų šios svetainės nurodyto robotas
( Uždrausti: / - draudimas indeksavimo tik svetainės) - Parašyta sąrašas leistinų svetainės skyrių
(Allow: /home/ — leistinas skyrius "home") - Nurodomas svetainės pavadinimas
(Host: crazysquirrel.ru — pagrindinis vardas svetainės crazysquirrel.ru) - Rodo absoliutų kelią iki failo sitemap.xml
(Sitemap: https:// crazysquirrel.ru/sitemap.xml)
Jei svetainėje nėra draudžiama, pertvaros, robots.txt turi būti sudarytas mažiausiai iš 4 строчек:
User-Agent: *
Allow: /
Host: crazysquirrel.ru
Svetainės: https://crazysquirrel.ru/sitemap.xml
Patikrinti robots.txt ir tai, kaip jis įtakos indeksavimo svetainės galima naudojant įrankių Яндекса