'Özel robots.txt' dosyası nedir ve Blogger'a nasıl eklenir?

Bir önceki konunun ardından bu yazımda ise "Özel robots.txt" dosyası nedir, ne işe yarar ve Blogger'a nasıl eklenir? gibi soruların yanıtları yer alacak.

"Özel robots.txt" dosyası nedir?

Bir önceki "Özel robot başlık etiketleri" nedir ve Blogger'a nasıl eklenir? başlıklı yazımda robot başlık etiketlerinden ve ne işe yaradıklarından bahsetmiştim. Bu içeriği okumadan önce o yazıma bi' göz atın mutlaka. Şimdi geldik "Özel robots.txt" dosyasına. Bu konuyla ilgili özellikle forum sitelerinden çok soru almıştım...

"Özel robots.txt" dosyası nedir? Ne işe yarar?

Dostlarım bir önceki yazımda da bahsettim gibi "Özel robots.txt" dosyası arama motorlarının robotlarına verdiğimiz basit talimatları içerin küçük bir kod dosyasıdır. Bu kodlar web sitelerimizde ya da bloglarımızda saklanır. Sayfalarımız tarandığında ise bu dosyada yer alan talimatlara göre dilediğimiz sayfaları tarar ve indexler. Aynı şekilde istemediğimiz sayfalara ise hiç bulaşmaz.

Bu arada unutmadan belirteyim, arama motorlarının robotları bir web sitesini taramadan önce Robots.txt dosyasını tarar.

Robots.txt dosyası Blogger'a nasıl eklenir?

Blogger kullanıcı panelinde yer alan Ayarlar kısmına ekliyoruz robot.txt dosyasını.

Yukarıda yer alan görseli takip edebilirsiniz. Eklememiz gereken kod ise aşağıda:

User-agent: Mediapartners-Google

Disallow:



User-agent: *

Disallow: /search

Allow: /


Sitemap: http://blogunuzunadresi.blogspot.com/sitemap.xml

Kırmızı renkle belirttiğim alana blogunuzun adresini ekleyip kaydetmeniz yeterli. Tüm yapılması gerekenler bunlar dostalarım.

Robot.txt dosyasındaki kodlar neişe yarar?

Şimdi gelelim bu kodların ne anlam ifade ettiklerine. Bakalım arama motorlarının robotlarına neler demiş oluyoruz bu kodlarla.

User-agent: Mediapartners-Google: Bu kod Google AdSense kullanıcıları için. Reklamların daha iyi çalışmasını sağlıyor. Eğer bir AdSense yayıncısı değilseniz, bu kodu kullanmanıza gerek yok.

User-agent: *: Bu kod tüm arama motorları tarafından sitenizin taranmasını ve indexlenmesini sağlar.

Disallow: /search: Disallow kodu indexleme talimatı için kullanılır. Bu kodla robotlar ilgili kısımları taramaz ve indexlemez. Search kelimesiyle birlikte kullanınca da arama sonuçlarının indexlenmemesi ve taranmaması için kullanıldığın anlamına gelir.

Allow: Bu kod İngilizce terim anlamıyla da anlaşılacağı üzere tara, indexle komutları içerir. Yanına eklenen / işareti ise ana sayfa linki anlamına gelir. Örneğin şu yazımda bahsettiğim link ekleme kısmında da, href kodunun hemen yanına eklenen linkin yerine / işaret konulduğunda ana sayfaya yönlendirecektir.

Sitemap te zaten bizim sitemizin haritası. Kırmızı renkle belirttiğim alana kendi adresinizi eklemeyi unutmayın.

Sonlara doğru...

Bu konuda bu kadardı dostlarım. Özellikle son zamanlarda bu konuyla ilgili sıkça sorular aldığım için bu içerikleri eklemek istedim. Paylaştığım bu iki konu arama motorlarından daha sağlıklı sonuçlar almanıza yardımcı olacaktır. Sorularınız olursa yorum yaparak bana bildirebilirsiniz.