'Özel robots.txt' dosyası nedir ve Blogger'a nasıl eklenir?

12 Ekim, 2017
Bir önceki konunun ardından bu yazımda ise "Özel robots.txt" dosyası nedir, ne işe yarar ve Blogger'a nasıl eklenir? gibi soruların yanıtları yer alacak.
"Özel robots.txt" dosyası nedir?
"Özel robots.txt" dosyası nedir?
Bir önceki "Özel robot başlık etiketleri" nedir ve Blogger'a nasıl eklenir? başlıklı yazımda robot başlık etiketlerinden ve ne işe yaradıklarından bahsetmiştim. Bu içeriği okumadan önce o yazıma bi' göz atın mutlaka. Şimdi geldik "Özel robots.txt" dosyasına. Bu konuyla ilgili özellikle forum sitelerinden çok soru almıştım...

"Özel robots.txt" dosyası nedir? Ne işe yarar?


Dostlarım bir önceki yazımda da bahsettim gibi "Özel robots.txt" dosyası arama motorlarının robotlarına verdiğimiz basit talimatları içerin küçük bir kod dosyasıdır. Bu kodlar web sitelerimizde ya da bloglarımızda saklanır. Sayfalarımız tarandığında ise bu dosyada yer alan talimatlara göre dilediğimiz sayfaları tarar ve indexler. Aynı şekilde istemediğimiz sayfalara ise hiç bulaşmaz.

Bu arada unutmadan belirteyim, arama motorlarının robotları bir web sitesini taramadan önce Robots.txt dosyasını tarar.

Robots.txt dosyası Blogger'a nasıl eklenir?


Blogger kullanıcı panelinde yer alan Ayarlar kısmına ekliyoruz robot.txt dosyasını.
"Özel robots.txt" dosyası
Yukarıda yer alan görseli takip edebilirsiniz. Eklememiz gereken kod ise aşağıda:
User-agent: Mediapartners-Google

Disallow:



User-agent: *

Disallow: /search

Allow: /


Sitemap: http://blogunuzunadresi.blogspot.com/sitemap.xml
Kırmızı renkle belirttiğim alana blogunuzun adresini ekleyip kaydetmeniz yeterli. Tüm yapılması gerekenler bunlar dostalarım.

Robot.txt dosyasındaki kodlar neişe yarar?


Şimdi gelelim bu kodların ne anlam ifade ettiklerine. Bakalım arama motorlarının robotlarına neler demiş oluyoruz bu kodlarla.

User-agent: Mediapartners-Google: Bu kod Google AdSense kullanıcıları için. Reklamların daha iyi çalışmasını sağlıyor. Eğer bir AdSense yayıncısı değilseniz, bu kodu kullanmanıza gerek yok.

User-agent: *: Bu kod tüm arama motorları tarafından sitenizin taranmasını ve indexlenmesini sağlar.

Disallow: /search: Disallow kodu indexleme talimatı için kullanılır. Bu kodla robotlar ilgili kısımları taramaz ve indexlemez. Search kelimesiyle birlikte kullanınca da arama sonuçlarının indexlenmemesi ve taranmaması için kullanıldığın anlamına gelir.

Allow: Bu kod İngilizce terim anlamıyla da anlaşılacağı üzere tara, indexle komutları içerir. Yanına eklenen / işareti ise ana sayfa linki anlamına gelir. Örneğin şu yazımda bahsettiğim link ekleme kısmında da, href kodunun hemen yanına eklenen linkin yerine / işaret konulduğunda ana sayfaya yönlendirecektir.

Sitemap te zaten bizim sitemizin haritası. Kırmızı renkle belirttiğim alana kendi adresinizi eklemeyi unutmayın.

Sonlara doğru...

Bu konuda bu kadardı dostlarım. Özellikle son zamanlarda bu konuyla ilgili sıkça sorular aldığım için bu içerikleri eklemek istedim. Paylaştığım bu iki konu arama motorlarından daha sağlıklı sonuçlar almanıza yardımcı olacaktır. Sorularınız olursa yorum yaparak bana bildirebilirsiniz.

23 yorum:

  1. Her Blogger icin temel yapilmasi gerekenler. Önceden yapmıştım lakin anlamlarini bilmiyordum şimdi öğrenmiş oldum. Elinize sağlık hocam.

    YanıtlaSil
    Yanıtlar
    1. Teşekkürler... Bu arada Murat Hocam bahsettiğiniz email sisteminden buldum bir tane ama önce kendim deneyip kontrol etmek istiyorum. Eğer olumlu sonuçlar alırsam blogumda paylaşırım.

      Sil
    2. Çok teşekkür ederim hocam. Bu uygulama tüm blogerler için altın değerinde olacak.. Merakla bekliyor olacagim blog tecrubelerinizi.. Eyvallah

      Sil
  2. Benim boğumda bu bölüm devredışı görünüyor. Uyarı kısmını her gördüğümde bu sayfayı hemencecik atlıyorum. Çok korkak biriyim sanırım. Vazgeçilmez sorumu sormazsam kesinlikle olmaz: Bunu uygulamazsam ne olur? Çok gerekli mi? Yanlış bir şey yaparım diye çok çekiniyorum....
    Ayrıca sitemap belirtilen yere blog adresimi yazdığımda nasıl bir değişiklik olacak? Benim arşiv sayfam var. Bu farklı bir şey mi? Şimdiden yanıtınız için teşekkür ederim.

    YanıtlaSil
    Yanıtlar
    1. Merhabalar, uygulamazsanız pek bir şey olmaz. Ama eklemeniz oldukça faydalı olur. Arama motorlarının robotlarını bu kodlarla yönlendirerek daha iyi sonuçlar alabilirsiniz. Sitemap konusuna gelince, arşiv sayfasından bahsediyorsunuz sanırım. O kurduğunuz sayfa ziyaretçiler için, sitemap için otomatik oluşturulan sayfa http://blogtecrubem.blogspot.com/sitemap.xml bir xml dosyası olup robotlar için kurulur. Yani sayfanızı etkilemez. Zaten otomatik olarak kurulmuştur o.

      Sil
  3. Disallow: * Yaptığımızda herhangi bir sorun teşkil eder mi?

    Yani ben arama sayfalarını da indexlemesini istiyorum. Bu durum ilerde bloğuma zarar verir mi?

    YanıtlaSil
    Yanıtlar
    1. Yok, zarar vermez. Aramaları da tarar.

      Sil
    2. Ben yinede sizin yazınızda verdiğiniz şekilde yapayım. Belki ilerde bana sorun açabilir.

      Sil
  4. Verdiğiniz kod en kullanışlı kod sanırım. Eklemekte fayda var diye düşünüyorum.

    YanıtlaSil
    Yanıtlar
    1. Kesinlikle. Bu kod zaten Google Search Console'da yer alan kod.

      Sil
  5. Görsel anlatımınızla birlikte çok kolay bir şekilde yaptım, teşekkürler bu bilgi için :) Kendi bloğuma da beklerim :)

    maviveedebiyat.blogspot.com

    YanıtlaSil
  6. Merhaba,
    Blogger ayarlarımda Özel robots.txt ve Özel robot başlık etiketlerine bu zaman kadar hiç dokunmadım. Blogu http den https ye geçirdikten sonra yapılan işlemlerde Search Console üzerinden 4 ayrı mülk için de ayrı ayrı site haritalarını Blog Hocam blogunun sahibi Serdar'ın anlatığı gibi:
    /atom.xml?redirect=false&start-index=1&max-results=150
    den başlayarak
    /atom.xml?redirect=false&start-index=1201&max-results=150
    ye kadar gönderdim fakat epey vakit geçmesine rağmen:
    Web Sayfaları 1344 Gönderildi - 132 Dizine eklenen şeklinde sabit duruyor. Bu süreç içinde bloga giriş rakamlarında bir düşüş görülmediği gibi tam tersine de bir artış var. Şimdi sorularım şunlar:
    Search Console da robots txt aracı sizin gösterdiğiniz gibi gözükmekte (Sitemap kısmı da aynı şekilde sitemap.xml) şeklinde fakat ben az önce bahsettiğim gibi /feeds/posts/default?orderby=updated şeklinde gönderdim. Bu ikisinin tam olarak farkı nedir acaba ve bu site haritaları ile dizine eklenmesi konusunda nasıl bir yol izlemeliyim, blogger içindeki robots.txt ayarları ya da aynı şekilde başlık ayarlarına müdahale etmem gerekli mi? Teşekkürler.

    YanıtlaSil
    Yanıtlar
    1. Merhabalar, Blog Hocam'da ne yazıyor bilmiyorum ama size şu şekilde bahsedeyim. Robot.txt konusu tamamen sizin seçiminiz. Yukarıdaki yazıda kodların ne anlama geldiğini ve ne işe yaradığını paylaştım. O açıklamalara göre ekleme yapıp yapmamak size kalıyor. Site haritaları konusunda da fazla endişelenmenize gerek yok. Paylaştığınız içerik sayısına göre şu kodu eklemeniz yeterli. atom.xml?redirect=false&start-index=501&max-results=1000 Burada 501 ve 1000 sayıları içerik sayınıza göre düzenlemeli. Tüm yapmanız gerekenler bunlar.

      Sil
  7. Butun bunlari yaptigim halde webmaster tolsta soyle bir mesaj aldim robots txt taarafindan engelleniyor olsa da bazi sayfalariniz dizine eklendi . 75 sayfayi eklemis google temada etiketlere noindex robots kullandim noarchive robost,noindex archiver robots butun bu metalari duzenleyip ekledim yine duzelmedi . neden acaba

    YanıtlaSil
    Yanıtlar
    1. Genelde tema değişikliklerinde bu tarz sonuçlarla karşılaşılabiliyor. Gerekli ayarları yeniden yapıp pingleme ve Google gibi getir yaparak istediğiniz sonuca ulaşabilirsiniz.

      Sil
  8. Yeni consoleda robots.txt test etmesi bulunmuyor.
    Eski consoledan test ettirip site haritası göndermek yeterli midir?
    Yoksa artık test edilmeyecek mi?
    Teşekkürler.

    YanıtlaSil
    Yanıtlar
    1. Normalde sitemap.xml ekliydi bende. Diğerlerini kabul etmiyordu zaten. Hatta konuyla ilgili şöyle bir içerik de paylaşmıştım, (https://www.blogtecrubem.com/2019/01/google-search-console-a-site-haritasi-nasil-eklenir.html). Şimdi kontrol ettiğimde ise atom.xml gibi bir çoğunun kendiliğinden eklendiğini gördüm. Siz de nasıl bilmiyorum ama sitemap.xml eklemeniz yeterli olacaktır. Sayfalar için nofollow durumunu zaten Blogger'ın kontrol panelinden ekliyoruz. (https://www.blogtecrubem.com/2017/10/ozel-robot.txt-dosyasi-nedir-ve-Blogger-a-nasil-eklenir.html)

      Sil
  9. Hemen ekliyorum tariflediğin gibi.. Çok teşekkürler Blog Tecrübem :D
    (sen olmasan ne yapardım bilmem ?!)

    YanıtlaSil
  10. Meraba,
    Bloglarda 150 yazıyı geçince site haritası;
    sitemap.xml?page=1
    sitemap.xml?page=2 şeklinde site haritasını ekliyor.
    Bu sayfada nasıl bir düzenleme yapmamız gerekir?

    YanıtlaSil
    Yanıtlar
    1. Merhabalar Mehmet Bey, sitemap.xml kısmına tıklandığında dediğiniz gibi page 1, page 2 şeklinde otomatik olarak bölünüyor. Otomatik olarak eklendiği için müdahale etmemize gerek yok diye düşünüyorum.

      Sil

Yorum yaparken:
1. İçerik konusuyla alakalı olmasına özen gösterin.
2. Aktif link bırakmayın, aksi taktirde yorumunuz silinir.
3. Yazım ve dil bilgisi kurallarına uymayı ihmal etmeyin.
Konu ile ilgili olmayan sorularınız için ise Blogger Yardım veya İletişim sayfalarını kullanınız.

Copyright © 2016 - 2019 www.blogtecrubem.com · İletişim · Yasal Uyarı