Robots.txt - Axtarış motorlarını yönləndirən fayl

Robots.txt - Axtarış motorlarını yönləndirən fayl

Veb saytlar axtarış motorları tərəfindən indeksləşdirilir və axtarış motorlarının sıralama alqoritmlərinə uyğun olaraq sıralanır. Bununla belə, siz bütün məzmunun axtarış motorları tərəfindən taranmasını istəməyə bilərsiniz və ya müəyyən səhifələrin indeksləşdirilməsinin qarşısını almaq istəyə bilərsiniz. Bu zaman axtarış sistemlərini yönləndirən "robots.txt" faylı işə düşür.

Robots.txt nədir?
Robots.txt vebsaytın kök qovluğunda yerləşir və axtarış sistemlərinə hansı domenlərin skanlana biləcəyini (taranmağa icazə verin) və ya olmadığını (icazə verilmədiyini) bildirir. Robots.txt faylı mətn faylıdır. Bu fayl veb saytın kataloq strukturunu anlamaq və tarama təlimatlarını təyin etmək istəyən botları istiqamətləndirir.
Robots.txt necə işləyir?
robots.txt faylı veb saytınızı skan edərkən axtarış motoru botlarının (məsələn, Googlebot) hansı domenləri skan edə biləcəyini müəyyənləşdirir. Fayl müəyyən botlara müəyyən qovluqlara və ya səhifələrə daxil olmamağı tapşıra bilər. Beləliklə, lazımsız səhifələrin indeksləşdirilməsinin qarşısını ala və vacib səhifələri önə çıxara bilərsiniz.
Robots.txt-in Əsas Qaydaları
İstifadəçi-agent Hansı axtarış motoru botunun təlimatlara əməl edəcəyini müəyyən edir. Məsələn, Googlebot, Bingbot.

Disallow Xüsusi kataloq və ya səhifənin taranmasına icazə vermir. "/" bütün sayta aiddir.

İcazə Ver Tarama üçün xüsusi qovluğu və ya səhifəni açır. Ümumiyyətlə icazə vermədən istifadə etdiyiniz zaman müəyyən səhifələrə icazə vermək üçün istifadə olunur.

Robots.txt Faylının İstifadə nümunəsi Aşağıdakı kimidir

User-agent *
Disallow /gizli-papka/
Allow /gizli-papka/public-səhifə.html
Bu misalda ulduz işarəsi (*) bütün axtarış sistemləri üçün keçərlidir və "/gizli-folder/" papkasının taranması qadağan edilmiş, "/gizli-papka/public-səhifə.html" səhifəsi isə tarama üçün açılmışdır. .
Robots.txt faylının əhəmiyyəti
Gizli Səhifələrin Qorunması
Şəxsi səhifələrinizi və ya admin səhifələrinizi gizlətməklə, bu səhifələrin axtarış motorları tərəfindən indeksləşdirilməsinin qarşısını almaqla təhlükəsizliyi artıra bilərsiniz.

Skaner Resurslarından Səmərəli İstifadə
Lazımsız səhifələrin taranmasının qarşısını almaqla siz axtarış motoru botlarına öz resurslarından daha səmərəli istifadə etmək imkanı verə bilərsiniz. Eyni zamanda, serverinizin daha az yorulmasını təmin edirsiniz.

SEO Optimizasiyası
robots.txt faylı hansı səhifələrin axtarış motorlarının indeksinə nəzarət etməyə imkan verməklə SEO strategiyanıza rəhbərlik etməyə kömək edə bilər.

robots.txt faylının düzgün konfiqurasiyası axtarış sisteminin optimallaşdırılması və vebsaytınızın təhlükəsizliyi üçün vacibdir. Bununla belə, diqqətli olun və səhv konfiqurasiya edilmiş robots.txt faylının saytınızın indeksləşdirilməsinə mane ola biləcəyini unutmayın.