Сайт дээр robots.txt байгаа эсэхийг мэдэхийн тулд та зүгээр л хийж болно хаягийн мөрхөтөч "/robots.txt" нэмбэл бүтэн харагдах байдал нь иймэрхүү харагдаж байна: "http://yoursite.ru/robots.txt". Бараг бүх интернет эх сурвалжид ийм robots.txt байдаг; энэ нь хайлтын роботыг вэбсайтын хэсэг, категориудыг индексжүүлэх эсвэл индексжүүлэхгүй байх боломжийг тодорхойлж өгдөг. Муу тохируулагдсан robots.txt эсвэл зүгээр л анхдагчаар орхисон нь заримдаа давхардсан хуудас, хуудасны хуудас гэх мэт хайлтын үр дүнд муу үр дүнг өгдөг. Энэ бүхэн нь хайлтын системээс шүүлтүүр, хориг арга хэмжээ авахад хүргэдэг; хэрвээ Google-д энэ нь боломжгүй юм бол Yandex-д буруу robots.txt-ийн улмаас та хайлтын үр дүнгээс амархан алга болно.

robots.txt гэж юу вэ?

Robots.txt- Таны сайтын үндсэн хавтсанд байрлах *.txt файл. robots.txt файл нь хайлтын роботуудад вэбсайтыг хэрхэн индексжүүлэх талаар зааварчилгааг агуулсан байдаг. Зөв зохиосон robots.txt нь таны төслийг интернетэд амжилттай индексжүүлэх түлхүүр юм!

Дүрэм ба нэр томъёо robots.txt

robots.txt файлын эхэнд хайлтын роботын нэрийг тодорхойлдог хамгийн чухал удирдамжийг зааж өгсөн болно. Хэрэглэгч-агент. Хэрэв таны нөөц орос хэлээр ярьдаг сегментэд хамаарахгүй бол удирдамжийг -User-agent: * (бүх хайлтын роботуудын хувьд) гэж нэрлэх бөгөөд Yandex-ийн хувьд бид Yandex нэрийг User-agent - User-агент: Yandex-д нэмнэ. .

Дараа нь зааврыг дагаж мөрдөөрэй ЗөвшөөрөхТэгээд Зөвшөөрөхгүй, индексжүүлэх боломжийг тодорхойлдог. Удирдамж Зөвшөөрөхиндексжүүлэх, ба Зөвшөөрөхгүй байхыг хориглоно.

Хэрэв robots.txt файл хоосон эсвэл зүгээр л байхгүй бол хайлтын робот нь хайлтын илэрцэд байх ёсгүй шаардлагагүй хаягдсан хуудсуудыг оруулаад сайтыг бүхэлд нь индексжүүлэх болно.

Удирдамж Хөтлөгчвэб сайтын гол толин тусгалыг тодорхойлдог бөгөөд зөвхөн Yandex хайлтын системийн робот уншдаг.

Joomla дахь robots.txt файл бүрийн сүүлчийн чухал хэсэг нь заавар юм Сайтын газрын зураг. Энэ нь давхардсан контентоос зайлсхийхэд тусалдаг Сайтын газрын зураг бөгөөд Yandex роботод шинэ материалын зөв хаягийг зааж өгдөг. Joomla сайтын газрын зургийг XML форматаар зааж өгсөн болно.

Хэрэглэгчийн агент: Yandex Зөвшөөрөхгүй: /администратор/ Зөвшөөрөхгүй: /кэш/ Зөвшөөрөхгүй: /үүнд орно/ Зөвшөөрөхгүй: /суулгах/ Зөвшөөрөхгүй: /хэл/ Зөвшөөрөхгүй: /номын сангууд/ Зөвшөөрөхгүй: /модуль/ Зөвшөөрөхгүй: /plugins/ Зөвшөөрөхгүй: /tmp/ Зөвшөөрөхгүй: /зохицуулалт/ Зөвшөөрөхгүй: /cli/ Зөвшөөрөхгүй: /bin/ Зөвшөөрөхгүй: /логууд/ Зөвшөөрөхгүй: /бүрэлдэхүүнүүд/ Зөвшөөрөхгүй: /component/ Зөвшөөрөхгүй: /component/tags* Зөвшөөрөхгүй: /*mailto/ Зөвшөөрөхгүй: /*.pdf Зөвшөөрөхгүй : /*% Зөвшөөрөхгүй: /index.php Хост: vash_sait.ru (эсвэл www.vash_sait.ru) Сайтын зураг: http:// таны XML газрын зургийн зам Хэрэглэгчийн агент формат: * Зөвшөөрөх: /*.css?*$ Зөвшөөрөх : /*.js?*$ Зөвшөөрөх: /*.jpg?*$ Зөвшөөрөх: /*.png?*$ Зөвшөөрөхгүй: /администратор/ Зөвшөөрөхгүй: /кэш/ Зөвшөөрөхгүй: /үүнд орно/ Зөвшөөрөхгүй: /суулгах/ Зөвшөөрөхгүй: /хэл / Зөвшөөрөхгүй: /номын сангууд/ Зөвшөөрөхгүй: /модулиуд/ Зөвшөөрөхгүй: /plugins/ Зөвшөөрөхгүй: /tmp/ Зөвшөөрөхгүй: /layouts/ Зөвшөөрөхгүй: /cli/ Зөвшөөрөхгүй: /bin/ Зөвшөөрөхгүй: /логууд/ Зөвшөөрөхгүй: /бүрэлдэхүүнүүд/ Зөвшөөрөхгүй: /бүрэлдэхүүн / Зөвшөөрөхгүй: /*mailto/ Зөвшөөрөхгүй: /*.pdf Зөвшөөрөхгүй: /*% Зөвшөөрөхгүй: /index.php Сайтын зураг: http:// таны XML форматын газрын зураг руу очих зам

Энэ нийтлэлд бид хэрхэн зохиох талаар ярих болно Joomla-д зориулсан зөв robots.txt файл. Энэ нь таны төслийг зөв, хурдан индексжүүлэхэд чухал үүрэг гүйцэтгэдэг robots.txtзөв эмхэтгээгүй бол таны сайтын зарим хуудсууд хайлтын системээс бүрмөсөн хасагдаж, давхардсан болон хэрэггүй хуудсууд нь индекст орох бөгөөд энэ нь мэдээжийн хэрэг хайлтын үр дүнд сөргөөр нөлөөлж, сайтыг оновчтой болгох оролдлого хийх болно. үрэх.

Тиймээс, robots.txt файл нь таны сайтын үндсэн хэсэгт байрлах текст файл бөгөөд хайлтын роботуудад таны төслийг хэрхэн индексжүүлэхийг хэлж өгдөг. Та аль хуудсуудад анхаарлаа хандуулах ёсгүй, аль нь онцгой анхаарал хандуулах ёстой вэ?

Хэрэв хайлтын роботуудын дүрмийг robots.txt файлд зөв тодорхойлоогүй бол тэдгээр нь олон хэрэггүй хуудсыг индексжүүлж, таны сайт дээрх мэдээллийн олон давхардал гарч болзошгүй, өөрөөр хэлбэл ижил нийтлэлийг өөр өөр холбоосоор дамжуулан авах боломжтой. энэ сайн биш.

Энэ файлын үндсэн заавар, дүрмийг авч үзье.

robots.txt файлыг бичих заавар, дүрэм.

Файл нь хамгийн чухал удирдамжаас эхэлдэг - Хэрэглэгч-агент– энэ нь хайлтын роботын нэрийг агуулдаг. Бүх хайлтын роботуудын хувьд - Хэрэглэгч-агент: *, мөн Yandex-ийн хувьд бид Yandex нэрийг Хэрэглэгч-агент - Хэрэглэгч-агент: Yandex-д нэмнэ.

Дараахь нь ЗөвшөөрөхТэгээд Зөвшөөрөхгүй. Эхнийх нь хайлтын роботоор индексжүүлэхийг зөвшөөрдөг, хоёр дахь нь хориглодог.

Таны зөв robots.txt файл "Хэрэглэгч-агент" оруулга бүрийн дараа дор хаяж нэг "Зөвшөөрөхгүй" зааврыг агуулсан байх ёстой. Гэхдээ хэрэв та бүрэн хоосон robots.txt файлыг орхивол хайлтын системүүд таны нөөцийг бүхэлд нь индексжүүлэх бөгөөд олон хог хаягдал, давхардсан хуудсууд индекст орох болно.

Удирдамж бас хэрэгтэй Хөтлөгч- энэ нь зөвхөн Yandex хайлтын системд ойлгогддог бөгөөд энэ нь таны сайтын гол толин тусгалыг тодорхойлоход үйлчилдэг, өөрөөр хэлбэл таны нөөцийг хэд хэдэн хаягаар, жишээлбэл www-тэй болон www-гүйгээр үзэх боломжтой. хайлтын системүүдЭдгээр нь хоёр өөр сайт юм.

Хостын удирдамжийг зөвхөн Yandex ойлгодог тул та тусдаа Хэрэглэгчийн агент ашиглах хэрэгтэй: Yandex, мөн бусад хайлтын роботуудад индексжүүлэх үйлдлийг зааж өгөхийн тулд User-agent удирдамжийг ашиглана уу.

Мөн зөв robots.txt зохиохдоо та бичих дүрмийг дагаж мөрдөх ёстой: (заавар): (зай) (утга).

Мөн сүүлчийн чухал заавар - Сайтын газрын зураг. Энэ нь таны сайтын зураглалыг .xml форматаар блог дээрээ байрлуулсан хайлтын системийг харуулдаг.

Joomla-д зориулсан зөв robots.txt

Миний энэ сайтад ашигладаг Joomla-д зориулсан зөв robots.txt файл дараах байдалтай байна.

Дашрамд хэлэхэд, хэрэв та ямар ч интернет сайтын роботуудыг үзэхийг хүсвэл оруулаарай тушаалын мөрхөтчөөс url /robots.txt руу, жишээ нь .

Тийм ээ, та хайлтын системийг мэдэх хэрэгтэй Google системүүдболон Yandex, үндсэн зүйлээс гадна мэдээ, зураг гэх мэтийг индексжүүлэх тусгай роботууд байдаг тул индексжүүлэхийн тулд сайтаасаа зураг нээхээ бүү мартаарай. Өгөгдмөл нь robots.txt Joomlaзардал Зөвшөөрөхгүй: /зураг/. Энэ удирдамжийг устга.

OceanTheme онлайн үйлчилгээ нь Joomla! хямд үнээр. Үйлчилгээний зорилтот үзэгчид нь хувь хүн, жижиг дунд бизнес эрхлэгчид, онлайн дэлгүүр үүсгэх мэргэжлийн вэб хөгжүүлэгчид, олон нийтийн сайтууд эсвэл таны блогтой болох хүсэлтэй хүмүүс юм. Дээд зэрэглэлийн шийдлүүдийн агуу цуглуулгаас хүн бүр өөрт хэрэгтэй зүйлээ олох болно.

Манай нөөц нь цуглуулах зохион байгуулагчийн үүрэг гүйцэтгэдэг бөгөөд загвар, өргөтгөл худалдаж авахыг хүсч буй хүмүүсийн тоо, барааны өртөг, эдгээр материалын хэмжээ, хүртээмжийг зааж өгдөг. Манай вэбсайт нь загвар, өргөтгөлүүдийг хялбархан хайх олон боломжуудтай. Ухаалаг навигаци, шошголох систем, шүүлтүүрээр эрэмбэлэх, "хавчуургад нэмэх" хэрэгсэл нь танд хүссэн материалаа маш хурдан олох боломжийг олгоно. Нэмж дурдахад та цуглуулгыг өдөр бүр шинэчлэхийн тулд хамгийн сүүлийн үеийн мэдээллийг олж авах болно.

Бүртгэлийн түрийвчэнд заасан клубын хугацаанд бүх мэдээллийн санд хандах боломжтой. Захиалагчид захиалгын бүх хугацаанд боломжтой бүх архив, мэдээ, шинэчлэлт, техникийн дэмжлэгийг хязгааргүй авах боломжтой.

Энэ сайтаас олж болох бүх бүтээгдэхүүн нь 100% GPL-тэй нийцдэг тул та хүссэнээрээ өөрчилж, хязгааргүй тооны сайт дээр суулгах боломжтой гэсэн үг юм.

Загвар болон өргөтгөлүүд нь хэрэглэхэд хялбар, суулгах, тохируулахад хялбар, олон үйлдэлт, олон талт байдаг тул манай цуглуулгын ачаар та маш их цаг хугацаа, мөнгөө хэмнэх болно. Энэ нь танд вэб хөгжүүлэлтийн дэвшилтэт технологид суралцахгүйгээр ямар ч төвөгтэй, чиг баримжаа бүхий вэбсайт үүсгэх боломжийг олгоно.

Манай вэбсайтын гол онцлогууд

Хайрцагнаас гарах функцүүдийн баялаг багц:

Бизнесийн төсөл эсвэл бүтээлч санаагаа хурдан хэрэгжүүлэхэд бэлэн мэргэжлийн шийдлийг авахын тулд манай нөөцийн бүхий л боломжийг ашигла.

Хайлтын хэрэгслүүдийг ашиглана уу

Дизайн, ажиллагаа болон бусад шалгуураар хүссэн вэб шийдлийг хурдан олохын тулд дэвшилтэт хайлт, шүүлт, хялбар навигац ашиглана уу.

Дуртай материал үргэлж бэлэн байхын тулд "Дуртай зүйлд нэмэх" өвөрмөц функцийг ашигла, тэдгээрийг бүтэн жилийн турш тусдаа хэсэгт авах боломжтой.

Манай сайтад нэвтэрсэнээр та сэтгэгдэл үлдээх, урамшуулалд оролцох, мөн зөвшөөрлийн эрх бүхий үнэгүй захиалгыг ашиглах боломжтой болно.

Манай клубын гишүүнчлэлд нэгдээрэй

Клубын захиалга нь манай анхны материалын каталогийг бүхэлд нь үзэх боломжийг танд олгоно. Мөн дээд зэрэглэлийн загварууд болон хэдэн жилийн өргөтгөлүүдийг багтаасан болно.

Өөрийн Joomla загвар болон өргөтгөлүүдийг ямар ч хязгаарлалтгүй, хурдтай үнэ төлбөргүй, клубын захиалгаар татаж аваарай.

Хэрэв танд сайт дээрх ямар нэгэн материал таалагдсан бол дуу хоолойгоо үлдээхээс гадна нийгмийн сүлжээгээр дамжуулан найзуудтайгаа хуваалцах боломжтой.

Өдрийн мэнд, эрхэм найзууд! Чиний мэдэж байгаа зүйл бол энэ хайлтын системийн оновчлол- хариуцлагатай, эмзэг асуудал. Зөвшөөрөгдөх үр дүнд хүрэхийн тулд та бүх нарийн ширийн зүйлийг анхаарч үзэх хэрэгтэй.

Өнөөдөр бид вэбмастер болгонд танил болсон robots.txt файлын тухай ярих болно. Энэ нь хайлтын роботуудын хамгийн энгийн бүх зааврыг агуулдаг. Дүрмээр бол тэд заасан зааврыг дагаж мөрдөхдөө баяртай байдаг бөгөөд хэрэв тэдгээрийг буруу эмхэтгэсэн бол вэб нөөцийг индексжүүлэхээс татгалздаг. Дараа нь би robots.txt файлын зөв хувилбарыг хэрхэн бичих, мөн хэрхэн тохируулах талаар танд хэлэх болно.

Энэ нь юу болохыг би өмнө нь тайлбарласан. Энэ нь яагаад хэрэгтэй байгааг одоо би танд хэлэх болно. Robots.txt – жижиг текст файл, энэ нь сайтын үндсэн хэсэгт хадгалагддаг. Үүнийг хайлтын системүүд ашигладаг. Энэ нь индексжүүлэх дүрмийг тодорхой заасан, өөрөөр хэлбэл сайтын аль хэсгийг индексжүүлэх (хайлтанд нэмэх), аль хэсгийг нь оруулах ёсгүйг тодорхой зааж өгсөн болно.

Ерөнхийдөө сайтын техникийн хэсгүүдийг индексжүүлэхээс хаадаг. Заримдаа өвөрмөц бус хуудсуудыг хар жагсаалтад оруулдаг (нууцлалын бодлогыг хуулж буулгах нь үүний жишээ юм). Энд роботуудад индексжүүлэх шаардлагатай хэсгүүдтэй ажиллах зарчмуудыг "тайлбарласан". Ихэнхдээ хэд хэдэн роботуудад дүрмийг тусад нь зааж өгдөг. Энэ талаар бид цаашид ярих болно.

At зөв тохиргоо robots.txt, таны вэбсайт хайлтын системийн зэрэглэлд өсөх баталгаатай. Роботууд зөвхөн анхааралдаа авах болно ашигтай агуулга, давхардсан эсвэл техникийн хэсгүүдэд анхаарлаа хандуулах.

robots.txt үүсгэж байна

Файл үүсгэхийн тулд өөрийн стандарт функцийг ашиглахад л хангалттай үйлдлийн систем, дараа нь FTP-ээр серверт байршуулна. Энэ нь хаана байгааг (сервер дээр) таахад хялбар байдаг - үндсэн дээр. Ерөнхийдөө энэ фолдерыг public_html гэж нэрлэдэг.

Та ямар ч FTP клиент (жишээ нь) эсвэл суурилуулсан ашиглан хялбархан нэвтэрч болно файлын менежер. Мэдээжийн хэрэг, бид хоосон роботуудыг серверт оруулахгүй. Тэнд хэдэн үндсэн удирдамж (дүрэм) бичье.

Хэрэглэгч-агент: *
Зөвшөөрөх: /

Робот файлынхаа эдгээр мөрийг ашигласнаар та бүх роботтой холбоо барьж (Хэрэглэгч-агент удирдамж) таны сайтыг бүхэлд нь (бүх техникийн хуудсуудыг оруулаад) индексжүүлэх боломжийг олгоно.

Мэдээжийн хэрэг, энэ сонголт бидний хувьд тийм ч тохиромжтой биш юм. Файл нь хайлтын системийг оновчтой болгоход тийм ч их тус болохгүй. Энэ нь тодорхой тааруулах шаардлагатай. Гэхдээ үүнээс өмнө бид бүх үндсэн удирдамж болон robots.txt утгыг авч үзэх болно.

Заавар

Хэрэглэгч-агент	Хамгийн чухал зүйлийн нэг нь ямар роботууд түүнийг дагаж мөрдөх дүрмийг дагаж мөрдөх ёстойг зааж өгдөг. Файл дахь дараагийн Хэрэглэгч-агент хүртэл дүрмийг харгалзан үзнэ.
Зөвшөөрөх	Аливаа нөөцийн блокуудыг индексжүүлэхийг зөвшөөрдөг. Жишээ нь: “/” эсвэл “/tag/”.
Зөвшөөрөхгүй	Үүний эсрэгээр, хэсгүүдийг индексжүүлэхийг хориглодог.
Сайтын газрын зураг	Сайтын газрын зураг руу орох зам (xml форматаар).
Хөтлөгч	Үндсэн толин тусгал (www-тэй эсвэл үгүй, эсвэл хэд хэдэн домэйнтэй бол). Аюулгүй https протоколыг (хэрэв байгаа бол) энд бас зааж өгсөн болно. Хэрэв танд стандарт http байгаа бол үүнийг зааж өгөх шаардлагагүй.
Мөлхөх саатал	Үүний тусламжтайгаар та роботууд таны сайтад зочлох, файл татаж авах интервалыг тохируулах боломжтой. Хост дээрх ачааллыг багасгахад тусална.
Цэвэр-парам	Тодорхой хуудсууд дээр (www.site.com/cat/state?admin_id8883278 гэх мэт) параметрүүдийг индексжүүлэхийг идэвхгүй болгох боломжийг танд олгоно. Өмнөх удирдамжаас ялгаатай нь энд 2 утгыг зааж өгсөн болно (хаяг болон параметр өөрөө).

Эдгээр нь тэргүүлэх хайлтын системээр дэмжигдсэн бүх дүрэм юм. Тэдний тусламжтайгаар бид хамгийн олон янзын хувилбараар ажилладаг роботуудаа бүтээх болно янз бүрийн төрөлсайтууд.

Тохиргоо

Робот файлыг зөв тохируулахын тулд бид сайтын аль хэсгийг индексжүүлж, аль хэсгийг нь индексжүүлж болохгүйг мэдэх хэрэгтэй. Html + css ашигладаг энгийн нэг хуудас вэбсайтын хувьд бид хэд хэдэн үндсэн удирдамж бичихэд хангалттай, тухайлбал:

Хэрэглэгч-агент: *
Зөвшөөрөх: /
Сайтын газрын зураг: site.ru/sitemap.xml
Хөтлөгч: www.site.ru

Энд бид бүх хайлтын системд зориулсан дүрэм, утгыг тодорхойлсон. Гэхдээ Google болон Yandex-д тусдаа зааварчилгаа нэмэх нь дээр. Энэ нь дараах байдлаар харагдах болно.

Хэрэглэгч-агент: *
Зөвшөөрөх: /

Хэрэглэгчийн агент: Yandex
Зөвшөөрөх: /
Зөвшөөрөхгүй: /политика

Хэрэглэгчийн агент: GoogleBot
Зөвшөөрөх: /
Зөвшөөрөхгүй: /шошго/

Сайтын газрын зураг: site.ru/sitemap.xml
Хөтлөгч: site.ru

Одоо манай html сайт дээрх бүх файлыг индексжүүлэх болно. Хэрэв бид зарим хуудас эсвэл зургийг хасахыг хүсвэл бид үүнийг зааж өгөх хэрэгтэй харьцангуй холбоосЗөвшөөрөхгүй хэсэгт энэ фрагмент руу.

Та роботын автомат файл үүсгэх үйлчилгээг ашиглаж болно. Тэдний тусламжтайгаар та төгс зөв хувилбарыг бий болгоно гэдэгт би баталгаа өгөхгүй, гэхдээ та үүнийг танилцуулга болгон ашиглаж болно.

Ийм үйлчилгээнүүдийн дунд:

Тэдгээрийн тусламжтайгаар та robots.txt файлыг автоматаар үүсгэж болно. Би хувьдаа энэ сонголтыг санал болгодоггүй, учир нь үүнийг өөрийн платформд тохируулан гараар хийх нь илүү хялбар байдаг.

Бид платформуудын тухай ярихдаа бүх төрлийн CMS, фреймворк, SaaS систем болон бусад зүйлийг хэлж байна. Дараа нь бид WordPress болон Joomla робот файлыг хэрхэн тохируулах талаар ярилцах болно.

Гэхдээ үүнээс өмнө бараг бүх сайтад робот үүсгэх, тохируулахад чиглүүлж болох хэд хэдэн нийтлэг дүрмийг онцолж үзье.

Индексжүүлэхийг хориглох:

• сайтын админ;
• хувийн данс болон бүртгэл/зөвшөөрлийн хуудас;
• тэрэг, захиалгын маягтын өгөгдөл (онлайн дэлгүүрийн хувьд);
• cgi хавтас (хост дээр байрладаг);
• үйлчилгээний хэсгүүд;
• ajax болон json скриптүүд;
• UTM болон Openstat хаягууд;
• янз бүрийн параметрүүд.

Нээх (зөвшөөрөх):

• зураг;
• JS болон CSS файлууд;
• хайлтын системд анхаарах ёстой бусад элементүүд.

Нэмж дурдахад, төгсгөлд сайтын газрын зураг (сайтын газрын зураг руу хүрэх зам) болон хост (үндсэн толин тусгал) өгөгдлийг зааж өгөхөө бүү мартаарай.

WordPress-д зориулсан Robots.txt

Файл үүсгэхийн тулд бид ижил аргаар robots.txt-г сайтын үндэс рүү оруулах хэрэгтэй. Энэ тохиолдолд та ижил FTP болон файлын менежерүүдийг ашиглан агуулгыг нь өөрчилж болно.

Илүү тохиромжтой сонголт байдаг - залгаасуудыг ашиглан файл үүсгэх. Ялангуяа Yoast SEO ийм функцтэй. Админ самбараас роботуудыг шууд засварлах нь илүү тохиромжтой тул би өөрөө robots.txt-тэй ажиллах энэ аргыг ашигладаг.

Энэ файлыг хэрхэн үүсгэхээ шийдэх нь бидэнд яг ямар заавар байх ёстойг ойлгох нь илүү чухал юм. Тэдний сайтууд дээр доор байна WordPress менежментБи энэ сонголтыг ашигладаг:

Хэрэглэгчийн агент: * # Google болон Yandex-ээс бусад бүх роботуудад зориулсан дүрэм

Зөвшөөрөхгүй: /cgi-bin скрипт бүхий # хавтас
Зөвшөөрөхгүй: /? # хүсэлтийн параметрүүд нүүр хуудас
Зөвшөөрөхгүй: /wp- # CSM-ийн файл (wp- угтвартай)
Зөвшөөрөхгүй: *?s= # \
Зөвшөөрөхгүй: *&s= # хайлттай холбоотой бүх зүйл
Зөвшөөрөхгүй: /хайх/ # /
Зөвшөөрөхгүй: /зохиогч/ # зохиогчийн архив
Зөвшөөрөхгүй: /хэрэглэгчид/ # болон хэрэглэгчид
Зөвшөөрөхгүй: */trackback Хэн нэгэн тантай холбогдож байгаа тухай WP-с # мэдэгдэл
Зөвшөөрөхгүй: */feed # xml-ээр дамжуулна
Зөвшөөрөхгүй: */rss # болон rss
Зөвшөөрөхгүй: */embed # суурилагдсан элементүүд
Зөвшөөрөхгүй: /xmlrpc.php # WordPress API
Зөвшөөрөхгүй: *utm= # UTM шошго
Зөвшөөрөхгүй: *openstat= # Openstat шошгууд
Зөвшөөрөхгүй: /tag/ # шошго (хэрэв байгаа бол)
Зөвшөөрөх: */байршуулах # нээлттэй татан авалт (зураг гэх мэт)

Хэрэглэгчийн агент: GoogleBot Google-д зориулсан #
Зөвшөөрөхгүй: /cgi-bin
Зөвшөөрөхгүй: /?
Зөвшөөрөхгүй: /wp-
Зөвшөөрөхгүй: *?s=
Зөвшөөрөхгүй: *&s=
Зөвшөөрөхгүй: /хайх/
Зөвшөөрөхгүй: /зохиогч/
Зөвшөөрөхгүй: /хэрэглэгчид/
Зөвшөөрөхгүй: */trackback
Зөвшөөрөхгүй: */feed
Зөвшөөрөхгүй: */rss
Зөвшөөрөхгүй: */embed
Зөвшөөрөхгүй: /xmlrpc.php
Зөвшөөрөхгүй: *utm=
Зөвшөөрөхгүй: *openstat=
Зөвшөөрөхгүй: /tag/
Зөвшөөрөх: */байршуулах
Зөвшөөрөх: /*/*.js # JS файлуудыг нээх
Зөвшөөрөх: /*/*.css # болон CSS
Зөвшөөрөх: /wp-*.png # болон зураг дотор байна png формат
Зөвшөөрөх: /wp-*.jpg # \
Зөвшөөрөх: /wp-*.jpeg # болон бусад форматууд
Зөвшөөрөх: /wp-*.gif # /
# залгаасуудтай ажилладаг

Хэрэглэгчийн агент: Yandex # Yandex-д зориулсан
Зөвшөөрөхгүй: /cgi-bin
Зөвшөөрөхгүй: /?
Зөвшөөрөхгүй: /wp-
Зөвшөөрөхгүй: *?s=
Зөвшөөрөхгүй: *&s=
Зөвшөөрөхгүй: /хайх/
Зөвшөөрөхгүй: /зохиогч/
Зөвшөөрөхгүй: /хэрэглэгчид/
Зөвшөөрөхгүй: */trackback
Зөвшөөрөхгүй: */feed
Зөвшөөрөхгүй: */rss
Зөвшөөрөхгүй: */embed
Зөвшөөрөхгүй: /xmlrpc.php
Зөвшөөрөхгүй: /tag/
Зөвшөөрөх: */байршуулах
Зөвшөөрөх: /*/*.js
Зөвшөөрөх: /*/*.css
Зөвшөөрөх: /wp-*.png
Зөвшөөрөх: /wp-*.jpg
Зөвшөөрөх: /wp-*.jpeg
Зөвшөөрөх: /wp-*.gif
Зөвшөөрөх: /wp-admin/admin-ajax.php
# цэвэр UTM хаягууд
Цэвэр параметр: openstat # мөн Openstat-ийн талаар бүү мартаарай

Сайтын газрын зураг: # сайтын газрын зураг руу хүрэх замыг зааж өгнө
Хөтлөгч: https://site.ru # гол толь

Анхаар!Файл руу мөр хуулахдаа бүх тайлбарыг (#-ын араас бичвэр) устгахаа бүү мартаарай.

Энэхүү robots.txt сонголт нь WP ашигладаг вэбмастеруудын дунд хамгийн түгээмэл байдаг. Тэр хамгийн тохиромжтой юу? Үгүй Та ямар нэг зүйл нэмэх эсвэл эсрэгээр нь устгахыг оролдож болно. Гэхдээ роботын текстийн хөдөлгүүрийг оновчтой болгоход ихэвчлэн алдаа гардаг гэдгийг санаарай. Бид тэдний талаар цаашид ярих болно.

Joomla-д зориулсан Robots.txt

Хэдийгээр 2018 онд Joomla-г цөөхөн хүн ашигладаг ч энэ гайхалтай CMS-ийг үл тоомсорлож болохгүй гэдэгт би итгэдэг. Joomla дээр төслүүдийг сурталчлахдаа та робот файл үүсгэх хэрэгтэй болно, эс тэгвээс шаардлагагүй элементүүдийг индексжүүлэхээс хэрхэн хаахыг хүсч байна вэ?

Өмнөх тохиолдлын нэгэн адил та зүгээр л хост руу байршуулах замаар гараар файл үүсгэх эсвэл эдгээр зорилгоор модулийг ашиглаж болно. Аль ч тохиолдолд та үүнийг зөв тохируулах хэрэгтэй болно. Joomla-д зориулсан зөв сонголт дараах байдалтай байна.

Хэрэглэгч-агент: *
Зөвшөөрөх: /*.css?*$
Зөвшөөрөх: /*.js?*$
Зөвшөөрөх: /*.jpg?*$
Зөвшөөрөх: /*.png?*$
Зөвшөөрөхгүй: /кэш/
Зөвшөөрөхгүй: /*.pdf
Зөвшөөрөхгүй: /администратор/
Зөвшөөрөхгүй: /суулгах/
Зөвшөөрөхгүй: /cli/
Зөвшөөрөхгүй: /номын сан/
Зөвшөөрөхгүй: /хэл/
Зөвшөөрөхгүй: /бүрэлдэхүүнүүд/
Зөвшөөрөхгүй: /модуль/
Зөвшөөрөхгүй: / орно/
Зөвшөөрөхгүй: /bin/
Зөвшөөрөхгүй: /бүрэлдэхүүн/
Зөвшөөрөхгүй: /tmp/
Зөвшөөрөхгүй: /index.php
Зөвшөөрөхгүй: / залгаасууд /
Зөвшөөрөхгүй: /*mailto/

Зөвшөөрөхгүй: /лог/
Зөвшөөрөхгүй: /бүрэлдэхүүн/шошго*
Зөвшөөрөхгүй: /*%
Зөвшөөрөхгүй: /зохицуулалт/

Хэрэглэгчийн агент: Yandex
Зөвшөөрөхгүй: /кэш/
Зөвшөөрөхгүй: /*.pdf
Зөвшөөрөхгүй: /администратор/
Зөвшөөрөхгүй: /суулгах/
Зөвшөөрөхгүй: /cli/
Зөвшөөрөхгүй: /номын сан/
Зөвшөөрөхгүй: /хэл/
Зөвшөөрөхгүй: /бүрэлдэхүүнүүд/
Зөвшөөрөхгүй: /модуль/
Зөвшөөрөхгүй: / орно/
Зөвшөөрөхгүй: /bin/
Зөвшөөрөхгүй: /бүрэлдэхүүн/
Зөвшөөрөхгүй: /tmp/
Зөвшөөрөхгүй: /index.php
Зөвшөөрөхгүй: / залгаасууд /
Зөвшөөрөхгүй: /*mailto/

Зөвшөөрөхгүй: /лог/
Зөвшөөрөхгүй: /бүрэлдэхүүн/шошго*
Зөвшөөрөхгүй: /*%
Зөвшөөрөхгүй: /зохицуулалт/

Хэрэглэгчийн агент: GoogleBot
Зөвшөөрөхгүй: /кэш/
Зөвшөөрөхгүй: /*.pdf
Зөвшөөрөхгүй: /администратор/
Зөвшөөрөхгүй: /суулгах/
Зөвшөөрөхгүй: /cli/
Зөвшөөрөхгүй: /номын сан/
Зөвшөөрөхгүй: /хэл/
Зөвшөөрөхгүй: /бүрэлдэхүүнүүд/
Зөвшөөрөхгүй: /модуль/
Зөвшөөрөхгүй: / орно/
Зөвшөөрөхгүй: /bin/
Зөвшөөрөхгүй: /бүрэлдэхүүн/
Зөвшөөрөхгүй: /tmp/
Зөвшөөрөхгүй: /index.php
Зөвшөөрөхгүй: / залгаасууд /
Зөвшөөрөхгүй: /*mailto/

Зөвшөөрөхгүй: /лог/
Зөвшөөрөхгүй: /бүрэлдэхүүн/шошго*
Зөвшөөрөхгүй: /*%
Зөвшөөрөхгүй: /зохицуулалт/

Хөтлөгч: site.ru # энд байгаа хаягаа өөрийнхөө хаягаар солихоо бүү мартаарай
Сайтын газрын зураг: site.ru/sitemap.xml # мөн энд

Дүрмээр бол энэ нь хангалттай юм нэмэлт файлуудиндекст хамрагдаагүй болно.

Тохируулах явцад гарсан алдаа

Хүмүүс робот файл үүсгэх, тохируулахдаа ихэвчлэн алдаа гаргадаг. Тэдгээрийн хамгийн түгээмэл нь энд байна:

• Дүрмүүдийг зөвхөн User-agent-д зааж өгсөн болно.
• Хост болон Сайтын газрын зураг байхгүй байна.
• Хост удирдамжид http протокол байгаа эсэх (та зөвхөн https зааж өгөх хэрэгтэй).
• Зургийг нээх/хаахдаа үүрлэх дүрмийг дагаж мөрдөхгүй байх.
• UTM болон Openstat хаягууд хаагдаагүй байна.
• Робот тус бүрт хост болон сайтын газрын зургийн удирдамж бичих.
• Файлын өнгөц боловсруулалт.

Энэ жижиг файлыг зөв тохируулах нь маш чухал юм. Таамаглаж байна бүдүүлэг алдаануудТа замын хөдөлгөөний ихээхэн хэсгийг алдаж болзошгүй тул тохируулахдаа маш болгоомжтой байгаарай.

Файлыг хэрхэн шалгах вэ?

Эдгээр зорилгоор Yandex болон Google-ийн тусгай үйлчилгээг ашиглах нь дээр, учир нь эдгээр хайлтын системүүд нь хамгийн алдартай бөгөөд эрэлт хэрэгцээтэй байдаг (ихэнхдээ Bing, Yahoo гэх мэт хайлтын системийг авч үзэх нь утгагүй юм); Rambler.

Эхлээд Yandex-ийн сонголтыг авч үзье. Вэбмастер руу оч. Дараа нь Tools - Analysis of robots.txt руу очно уу.

Эндээс та файлд алдаа байгаа эсэхийг шалгахаас гадна аль хуудсууд нь индексжүүлэхээр нээлттэй, аль нь нээгдээгүй байгааг бодит цаг хугацаанд шалгаж болно. Маш тохиромжтой.

Google яг ижил үйлчилгээтэй. -руу явцгаая Хайлтын консол. Scanning табыг олоод Robots.txt File Check Tool-ийг сонго.

Энд байгаа функцууд нь ахуйн үйлчилгээтэй яг адилхан юм.

Энэ нь надад 2 алдаа харуулж байгааг анхаарна уу. Энэ нь Google миний Yandex-д заасан параметрүүдийг цэвэрлэх зааврыг хүлээн зөвшөөрдөггүйтэй холбоотой юм.

Clean-Param: utm_source&utm_medium&utm_campaign
Цэвэр параметр: openstat

Та үүнд анхаарлаа хандуулах ёсгүй, учир нь ... Google роботуудзөвхөн GoogleBot дүрмийг ашиглах.

Дүгнэлт

robots.txt файл нь таны вэбсайтыг SEO оновчтой болгоход маш чухал юм. Түүний тохиргоонд бүх хариуцлагатай хандаарай, учир нь буруу хэрэгжүүлбэл бүх зүйл дэмий хоосон болно.

Энэ нийтлэлд миний хуваалцсан бүх зааврыг санаж, миний роботын хувилбаруудыг яг таг хуулах шаардлагагүй гэдгийг бүү мартаарай. Та заавар бүрийг илүү сайн ойлгож, файлаа өөрийн онцлогт тохируулан тохируулах шаардлагатай болж магадгүй юм.

Хэрэв та robots.txt-г илүү гүнзгий ойлгож, WordPress дээр вэбсайт үүсгэхийг хүсч байвал би таныг урьж байна. Эндээс та вэбсайтыг хайлтын системд оновчтой болгохоо мартуузай, хэрхэн хялбархан үүсгэх талаар сурах болно.

Robots.txt файл нь сайтыг мөлхөх үед хайлтын системийн үйл ажиллагааг хянах текст файл юм. Зөвшөөрөхгүй сангуудыг ашиглан хааж болно сканнердахаассайтын бие даасан хуудсууд, түүний хэсгүүд, сайтыг бүхэлд нь. Гэсэн хэдий ч зөвшөөрөхгүй индексжүүлэхзөвхөн Yandex роботуудад зориулсан хуудсууд.

robots.txt файлын тухай

Та сайтаа материалаар дүүргэх хүртэл индексжүүлэхэд бэлтгэх алхмуудыг хойшлуулж болохгүй. Сайтыг индексжүүлэх үндсэн бэлтгэлийг сайтыг үүсгэсний дараа шууд хийж болно.

Google, Yandex, Bing болон бусад хайлтын системийг удирдах гол хэрэгсэл бол robots.txt текст файл юм. Robots.txt файл нь хайлтын системүүд юуг мөлхөж, юуг тойрч гарахыг хянах боломжийг танд олгоно. Yandex нь robots.txt файлын зааврыг зөвхөн мөлхөх зөвшөөрөл төдийгүй хуудсыг индексжүүлэх зөвшөөрлийг уншдаг. Хэрэв тухайн хуудсыг роботууд хориглосон бол Yandex хэсэг хугацааны дараа тэнд байгаа бол индексээс хасна, хуудас нь индекст байхгүй бол индексжүүлэхгүй.

robots.txt файл ньсайтын эх хэсэгт байрлуулсан текст файл. Үүнд агуулагддаг тодорхой дүрэмЭнэ нь сайтын хайлтын системд ямар материалыг сканнердах, ямар материалаас "зайлсхийх" ёстойг зааж өгдөг. Та robots.txt файл дахь сайтын материалтай холбоотой хайлтын системийн үйлдлийн дүрмийг тохируулах ёстой.

Яаж байгааг харахын тулд Robots.txt файл нь (хэрэв энэ нь сайтын лавлахад байгаа бол) сайтын нэр рүү хөтчийн мөрөнд robots.txt-г ташуу зураасаар нэмнэ.

robots.txt файл нь тодорхой дүрмийн дагуу үүсгэгддэг. Эдгээр дүрмийг файлын синтакс гэж нэрлэдэг. Та Yandex-ээс robots.txt файлын нарийвчилсан синтаксийг үзэх боломжтой. https://help.yandex.ru/webmaster/?id=996567). Энд би Joomla вэбсайтад зориулж robots.txt файл үүсгэхэд туслах үндсэн дүрмүүдэд анхаарлаа хандуулах болно.

robots.txt файл үүсгэх дүрэм

Эхлээд би таны анхаарлыг татъя: robots.txt файлыг сайтын бүтцийн онцлог, сурталчилгааны бодлогыг харгалзан дангаар нь үүсгэх ёстой. Санал болгож буй файлын хувилбар нь нөхцөлт бөгөөд ойролцоо бөгөөд бүх нийтийн шинж чанартай байх боломжгүй.

Файлын мөр бүрийг удирдамж гэж нэрлэдэг. robots.txt файлын заавар дараах байдалтай байна.

<ПОЛЕ>:<ПРОБЕЛ><ЗНАЧЕНИЕ><ПРОБЕЛ>

<ПОЛЕ>:<ПРОБЕЛ><ЗНАЧЕНИЕ><ПРОБЕЛ>

<ПОЛЕ>:<ПРОБЕЛ><ЗНАЧЕНИЕ><ПРОБЕЛ>

Хоосон robots.txt файл нь сайтыг бүхэлд нь индексжүүлсэн гэсэн үг юм.

Энд ямар нэг муу зүйл байгаа юм шиг санагдаж байна. Хайлтын системд сайтын бүх материалыг мөлхөж, индексжүүлээрэй. Гэхдээ сайт хоосон байвал сайн. Материалаар дүүргэх, байнга засварлах, зураг оруулах, материалыг устгах, сайттай холбоогүй болсон нийтлэл, давхардсан хуудас, хуучин архив болон бусад хог хаягдлын материалыг индексжүүлдэг. Хайлтын системүүд үүнд дургүй байдаг, ялангуяа давхардсан хуудсууд, тэр ч байтугай энэ "хог" -ын ард үндсэн материалыг алдаж болно.

Robots.txt файлын удирдамж

• "Хэрэглэгч-агент" нь хайлтын системд хандах хувийн эсвэл ерөнхий хаяг юм.
• "Зөвшөөрөх" нь зөвшөөрөгдөх заавар юм;
• "Зөвшөөрөхгүй" гэдэг нь зааврыг хориглодог.

"Хэрэглэгч-агент" заавар

Хэрэв хайлтын системийг User-agent мөрөнд заагаагүй бол "User-agent" мөрөнд од (*) байгаа бөгөөд энэ нь robots.txt файлын бүх заавар бүх хайлтын системд хамаарна гэсэн үг юм.

Та тодорхой хайлтын системд индексжүүлэх дүрмийг тохируулж болно. Жишээлбэл, Yandex-ийн дүрмийг "Хэрэглэгч-агент" зааварт бичсэн байх ёстой

Хэрэглэгчийн агент: Yandex

Би "Хэрэглэгч-агент" лавлахад бүртгүүлж болох бусад хайлтын системийн жишээг өгөх болно.

• Google Googlebot
• Yahoo!
• Slurp (эсвэл Yahoo! Slurp)
• AOL Slurp
• MSN MSNBot
• Шууд MSNBot
• Теомагаас асуу
• AltaVista скутер
• Alexa ia_архивлагч
• Lycos Lycos
• Yandex
• Rambler StackRambler
• Mail.ru Mail.Ru
• Апорт Апорт Вебалта

WebAlta (WebAlta Crawler/2.0)Чухал!

robots.txt файл шаардлагатай бөгөөд "Зөвшөөрөхгүй" зааврыг агуулсан байх ёстой. Хэдийгээр robots.txt файл бүхэлдээ хоосон байсан ч дотор нь "Зөвшөөрөхгүй" гэсэн заавар байх ёстой.

Индексжүүлэх дүрмийг тодорхойлсон синтакс шинж тэмдгүүдийг харцгаая Дараахь зүйлийг зөвшөөрнөтусгай дүрүүд

• "од" (*); налуу зураас (/); ба ($).
• Од (*) тэмдэг нь "ямар ч", "бүгд" гэсэн утгатай.
• ($) тэмдэг (*)-г цуцална

Ташуу зураас (/) тэмдэг нь дангаар нь сайтын үндсэн лавлах гэсэн үг бөгөөд ташуу зураас (/) тусгаарлагч нь дүрмийг бичсэн файлуудын замыг харуулдаг.

Жишээлбэл, мөр:

Зөвшөөрөхгүй:

Энэ нь "хэнд ч зориулсан" хориг, өөрөөр хэлбэл сайтыг бүхэлд нь хориглох гэсэн үг юм. Мөн шугам:

Зөвшөөрөхгүй: /

Энэ нь "хүн бүрт зориулсан" хориг, өөрөөр хэлбэл сайт дээрх бүх хавтас, файлыг хориглох гэсэн үг юм. Ийм мөр:

Зөвшөөрөхгүй: /бүрэлдэхүүнүүд/

http://your_site/components/ хаягаар байрлах /components/ хавтсыг бүхэлд нь хориглоно.

Мөн энд шугам байна

class="eliadunit">Холбоо барих: /бүрэлдэхүүн

"Бүрэлдэхүүн хэсгүүд" хавтас болон "бүрэлдэхүүн" -ээс эхэлсэн бүх файл, хавтас дээр хориг үүсгэдэг. Жишээ нь: “components56”;”components77”.

Хэрэв бид хайлтын системд зориулж энэ дүрмийг үүсгэсэн лавлах жишээнүүдэд "Зөвшөөрөхгүй" гэж нэмбэл бид бэлэн robots.txt файлыг авах болно.

Хэрэглэгчийн агент: Yandex зөвшөөрөхгүй:

Энэ бол robots.txt файл бөгөөд Yandex хайлтын систем нь сайтыг бүхэлд нь индексжүүлж чадна гэсэн үг юм.

Мөн мөрүүдийг ингэж бичсэн байна:

Хэрэглэгчийн агент: Yandex Зөвшөөрөхгүй: /

Үүний эсрэгээр, Yandex нь сайтыг бүхэлд нь индексжүүлэхийг бүрэн хориглодог.

Энэ зарчим нь ойлгомжтой, би хэд хэдэн жишээг авч үзээд эцэст нь Yandex болон Google-д зориулсан сонгодог robots.txt файлуудыг өгөх болно.

Дараах жишээ нь Joomla сайтын загвар (дөнгөж суулгасан)-ийн robots.txt файл юм

Хэрэглэгчийн агент: * Зөвшөөрөхгүй: /администратор/ Зөвшөөрөхгүй: /бин/ Зөвшөөрөхгүй: /кэш/ Зөвшөөрөхгүй: /cli/ Зөвшөөрөхгүй: /бүрэлдэхүүнүүд/ Зөвшөөрөхгүй: /үүнд орно/ Зөвшөөрөхгүй: /суулгах/ Зөвшөөрөхгүй: /хэл/ Зөвшөөрөхгүй: /зөвшөөрөх/ Зөвшөөрөхгүй: /номын сангууд/ Зөвшөөрөхгүй: /логууд/ Зөвшөөрөхгүй: /модульууд/ Зөвшөөрөхгүй: /plugins/ Зөвшөөрөхгүй: /tmp/ бүх хайлтын системд зориулсан дүрмийг тодорхойлж, сайтын үндсэн директор (root) -д байрлах 15 сайтын хавтсыг индексжүүлэхийг хориглодог.

robots.txt файл дахь нэмэлт мэдээлэл

Robots.txt файлд та хайлтын системд Sitemap хаяг болон Yandex хайлтын системийн толин тусгал домайныг зааж өгөх хэрэгтэй.

• Сайтын зураг: http://exempl.com/sitemap.xml.gz
• Сайтын газрын зураг: http://exempl.com/sitemap.xml

Тус тусад нь та Yandex-д зориулж Robots.txt файл үүсгэж, хостын удирдамжийг оруулж, дотор нь сайтын толин тусгалыг зааж өгч болно.

Хөтлөгч: www.your-site.com# гэдэг нь сайтын гол толь www.

Хөтлөгч: your-site.com#www-гүй сайтын үндсэн домэйн гэсэн үг.

WebAlta (WebAlta Crawler/2.0) Robots.txt файлаа бичихдээ хоёр цэгийн ард хоосон зай үлдээхээ бүү мартаарай, хоёр цэгийн дараа бүх зүйлийг жижиг үсгээр бичих хэрэгтэй.

WebAlta (WebAlta Crawler/2.0)Интернэтээс авсан загварын robots.txt файлуудыг ашиглахгүй байхыг хичээгээрэй (анхдагчаар Joomla-н robots.txt файлаас бусад). Robots.txt файл бүрийг сайтын урсгал болон түүний SEO шинжилгээнээс хамааран тусад нь эмхэтгэж засварлах ёстой.

Өгүүллийн төгсгөлд би жишээ өгөх болно зөв файл Joomla сайтад зориулсан robots.txt.

Хэрэглэгчийн агент: * Зөвшөөрөхгүй: /администратор/ Зөвшөөрөхгүй: /бин/ Зөвшөөрөхгүй: /кэш/ Зөвшөөрөхгүй: /cli/ Зөвшөөрөхгүй: /үүнд орно/ Зөвшөөрөхгүй: /суулгах/ Зөвшөөрөхгүй: /хэл/ Зөвшөөрөхгүй: /зөвшөөрөх: /номын сангууд/ Зөвшөөрөхгүй: /логууд/ Зөвшөөрөхгүй: /tmp/ Зөвшөөрөхгүй: /загварууд/ Хэрэглэгч-агент: Yandex Зөвшөөрөхгүй: /администратор/ Зөвшөөрөхгүй: /бин/ Зөвшөөрөхгүй: /кэш/ Зөвшөөрөхгүй: /cli/ Зөвшөөрөхгүй: /үүнд орно/ Зөвшөөрөхгүй: /суулгах/ Зөвшөөрөхгүй: /хэл/ Зөвшөөрөхгүй: /зөвлөмж/ Зөвшөөрөхгүй: /номын сангууд/ Зөвшөөрөхгүй: /логууд/ Зөвшөөрөхгүй: /plugins/ Зөвшөөрөхгүй: /tmp/ Зөвшөөрөхгүй: /templates/ Зөвшөөрөхгүй: /*?* Хост: domen.ru (эсвэл https: //domen.ru) Сайтын газрын зураг: http://domen.ru/sitemap.xml (эсвэл https://domen.ru/sitamap.xml)

Дүгнэлт

Уламжлалыг үл харгалзан вэбсайтын хуудсуудыг индексжүүлэхийг хориглохын тулд дотоод CSM хэрэгслийг ашиглана гэдгийг тэмдэглэхийг хүсч байна. Бүх контент засварлагчид noindex, nofollow хаягуудыг оруулдаг.

• үүсгэх явцад сайтыг бүхэлд нь хаах;
• шаардлагагүй хайлтын системээс сайтыг хаах;
• хувийн хэсгүүдийг хаах;
• сервер дээрх ачааллыг бууруулах (мөлхөж саатах заавар).

• пейжинг, эрэмбэлэх, хайлтын хуудасны индексжүүлэлтийг хаах;
• Зөвхөн Yandex-д зориулсан давхардсан хуудсыг хааж, Google-д зориулсан CMS хэрэгслийг ашиглах;
• Индексээс хасах гэж бүү оролдоорой Google хуудаснуудболон хэсгүүд. Энэ нь зөвхөн Yandex-д ажилладаг.

Үүний үр дүнд Joomla сайтын robots.txt файлыг тус тусад нь эмхэтгэсэн гэдгийг би дахин тэмдэглэж байна. Эхлэхийн тулд robots.txt.disc файлын хайрцагласан хувилбарыг ашиглан нэрээ robots.txt болгон өөрчилж, нэг нь Yandex, хоёр дахь нь бусад бүх роботуудад зориулагдсан хоёр хэсэгт хуваагдана. Yandex-ийн хувьд сайтын үндсэн толин тусгалыг харуулсан Host лавлахыг нэмж оруулахаа мартуузай.

Хяналт