Robots.txt Dosyanızda Bu Hatayı Yapmayınız

SEO hizmetleri verdiğimiz bir müşterinin sitesi ile ilgili ön analizleri yaparken robots.txt dosyasında css ve js dosyalarını engellediğini fark ettik. Bunu neden yaptığını sorduğumuzda ise “O dosyaları indekslemesine gerek yoktu” şeklinde bir yanıt aldık. Malesef bedeli çok ağır olabilecek bilinçsizce yapılan bu işlem ile ilgili kendilerine gerekli bilgilendirmeleri yaptık, bu konuda siz değerli okurlarımıza da bilgi vermek isteriz. Ancak öncesinde bilmeyenler için Robost.txt dosyası hakkında çok kısa genel bilgiler verelim:

Robost.txt Dosyası Nedir?

Çok basit ancak zaman zaman hayati bir dosyadır; arama motorlarına sitenizi nasıl gezeceğini, neleri gezip neleri gezmeyeceğini belirten dosyadır. Google botları bir siteye ilk geldiğinde bakacakları dosya kök dizindeki robots.txt dosyasıdır yani :https://backlinkmatik.com/robots.txt gibi. Sitenizi bu dosyanızdaki talimatlara göre tarar. Olmaması ölümcül değildir, robots.txt yoksa da yine botlar sitenizi tarar, ancak olması tavsiye edilir, bazı durumlarda ise mecbur kullanmanız gerekebilir, ayrıca Google ‘da bu dosyanın varlığına önem verir.

Robost.txt Dosyanızda Js ve CSS Dosya Engellemesi Yapmayınız

2015 yılından bu yana, Google Arama Konsolu web site sahiplerine CSS ve JS dosyalarını engellememeleri konusunda uyarılarda bulunuyor. Neden bu özel dosyaları Googlebot’tan engellememelisiniz, size açıklayalım:

CSS ve JavaScript dosyalarını engelleyerek, aslında web sitenizin düzgün çalışıp çalışmadığını Google’ın kontrol etmesini engelliyorsunuz. Google artık eski Google değil, sitenizi bir bot gibi değil, bir “insan” gibi deneyimlemek istiyor, analiz ve sıralama algoritmaları da bu insansı deneyimine ve sonuçlarına dayanmaktadır.  

Eğer robots.txt dosyanızda CSS ve JavaScript dosyalarını engellerseniz, Google sitenizi amaçlandığı gibi tarayamaz.  Bu durumda websiteniz Google için tam olarak anlaşılamaz hale geliyor, bu durum düşük sıralamalara neden olabilir.

Sadece Google değil, Ahrefs, Semrush, Screaming Frog vb. araçlar da web sayfalarını tararken JavaScript’i çalıştırıyor. Böyle bir engel koymak bu tür analiz araçlarındaki sonuçlarınızı da etkileyecektir.

Robots.txt Dosyanızı Google Aracı ile Kontrol Edin

Sizde robots.txt dosyanızda hayati bir hata yapıp yapmadığınız görmek adına Google Robost.txt test aracını kullanabilirsiniz : https://www.google.com/webmasters/tools/robots-testing-tool. Ayrıca, Search Console üzerinden de tarama hatalarınızı düzenli olarak takip etmenizi tavsiye ederiz.

Robost.txt İle İlgili Bilmeniz Gerekenler

Burada bir sayfaya erişme ile o sayfayı indekslemenin farkının altını çizelim çünkü yukarıdaki hata senaryosunda bu bilginin önemini gördünüz. Google her eriştiği sayfayı indekslemez. Siz robots.txt ile bir sayfanın taranmasına izin verip, seo metaları aracılığı ile “noindex” vererek o sayfanın indekslenmesini engelleyebilirsiniz.

Örneğin gizlilik politikası, iletişim gibi sayfalarınızı seo kriterleri gereği Google’a açarsınız ancak arama motoru sonuçlarında sadece içerik değeri olan sayfalarınız görünsün istiyorsanız bu sayfaları “noindex” etiketi ile indekse kapatabilirsiniz.

Kısacası bir sayfaya Google hiç erişemesin mi istiyorsunuz, yoksa indekslemesin mi istiyorsunuz bunun ayrımını yapıp ona göre işlem yapmalısınız.

• Robots.txt disallow komutu : Bu sayfaya erişme
• Noindex meta tag :Bu sayfayı indeksleme

Google’un bir tarama bütçesi vardır, ve Google’un bize ayırdığı tarama kaynağını en optimize şekilde kullanmak adına taranmaması gereken sayfaları robots.txt ile engellemekte fayda var. Ancak bunu çok dikkatli yapmalısınız, aksi halde yukarıdaki örnekteki gibi hatalı bir robots.txt dosyasının bedeli ağır olabilmektedir.

Yeni bir sitemiz var ve tamamen erişimi kapatmak istiyorsak yine robots.txt dosyasını kullanabiliriz.

Robots.txt Dosyası Nasıl Oluşturulur?

notepad gibi bir txt dosyası editörü ile yapabilirsiniz ya da Google’da “robots.txt generator” şeklinde aratarak hazır ücretsiz araçlar aracılığı ile yapabilirsiniz. Örnek bir site : https://www.seoptimer.com/robots-txt-generator

Robost.txt Dosyası Komutları ve Anlamları

• User-agent : Hangi arama motoruna komut vereceğinizi belirler. * koyarsanız tüm arama motorları için geçerlidir. Sadece Google’a talimat verecekseniz : User-agent: Googlebot şeklinde kullanabilirsiniz.
• Allow : Sonrasında gelen dizine/dosyaya tarama izni verir.
• Disavllow : Sonrasında gelen dizine/dosyaya tarama yasağı koyar.

Örnek 1 :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://backlinkmatik.com/sitemap_index.xml

Nasıl çalışır : Tüm arama motorlarına, /wp-admin/ dizini hariç her türlü klasöre erişim izni verir. /wp-admin/ klasöründe ise sadece /admin.ajax.php ye izin verir, diğer klaör ve dosyaları yasaklar.

Örnek 2 :

User-agent: Googlebot-Image
Disallow: /image/
Allow: /image/logo.png

Anlamı : Google resim botlarına, logo dışındaki image klasörüne erişimi engeller.

Daha fazla kaynak:

https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=tr