Fail robots.txt — see on peamine fail, mis kirjeldab töötlemise eeskirjad lehekülgi otsingumootor robotid. See fail on vaja täpsustada peamine nime saidi, saidi kaart (sitemap.xml), avatud ja suletud kodulehel lõigud.
Fail robots.txt järgmised direktiivid:
- User-agent — direktiiv mis näitab, milline robot alljärgnevad reeglid
- * - kõik robotid
- Yandex, peamine robot Yandex
- Googlebot — peamine Google robot
- StackRambler — otsing robot Рамблер
- Aport — otsing robot Апорт
- Slurp — robot Yahoo
- MSNBot — robot MSN
- Keela direktiiv keeld osa saidil
- Allow — direktiiv õigused veebisaidi osad
- Host — direktiiv nõuanded peamine nime koha
- Sitemap— direktiiv nõuanded saidi kaart (sitemap.xml)
- Crawl-delay — direktiiv mis näitab, mitu sekundit robot võib oodata vastust kodulehel (vajalik tugevalt allalaaditud ressursside, et robot ei pidanud kohas kättesaamatuks)
- Clean-param — direktiiv kirjeldab dünaamilised parameetrid ei mõjuta lehe sisu
Помимо директив в robots.txt используются спец символы:
- * - любай (sh tühi) sümbolite jada
- $ — on piirang reeglid
Koostamise robots.txt kasutatakse eespool nimetatud direktiivi ja спет sümbolid järgmine põhimõte:
- Nimetage robot, kelle kirjutatud reeglite loend
(User-agent: * reegel, et kõik robotid) - Kirjutada loetelu keelatud kodulehel lõigud määratud robot
( Disallow: / - keeld indekseerimise kogu site) - Kirjutatakse loetelu lubatud kodulehel lõigud
(Allow: /home/ — lubatud jagu home) - Märgitakse saidi nimi
(Host: crazysquirrel.ru — peamine saidi nimi crazysquirrel.ru) - Näitab absoluutne tee enne faili sitemap.xml
(Sitemap: https:// crazysquirrel.ru/sitemap.xml)
Kui saidil ei ole keelatud partitsiooni, siis robots.txt peab koosnema vähemalt 4 rida:
User-Agent: *
Allow: /
Host: crazysquirrel.ru
Sisukord: https://crazysquirrel.ru/sitemap.xmlKontrollida robots.txt ja see, kuidas ta mõjutab indekseerimise saidi tööriistade abil Yandex