Blogger'da Özel Robots.txt Dosyasını Düzenlemenin En Kolay Yolu

Blogger'da Özel Robots.txt Dosyasını Düzenlemenin En Kolay Yolu

İnternet üzerinden ücretsiz olarak blog kurabildikleri Blogger da Özel Robots.txt Dosyası Nasıl Düzenlenir Güncel olarak sizlere görsel detaylı olarak bilgi sunacağız. Eksiden blogspot bu tür Robot.txt yi düzenlemeye izin vermiyordu fakat bir zaman sonra artık kullanıcılara bunu düzenleme hakkını verdi. Şimdi bilmeyenler için Robot.txt nedir ve robot.txt ne işe yarar ? sorusunu sizlere yanıtlayalım.


Robot.txt, blogunuzun/sitenizin arama motorlarına sitenizin hangi konularını google dizinine ekleyebileceğini, hangi dizini taraması gerektiğini, hangi arama motorunun giriş izni olduğunu ya da olmadığını söyleyen komut dosyasıdır. Bunu siteniz/blogunuzda etkin etmeniz sizin yararınıza olacaktır. Eğer hali hazırda bir blogunuz yoksa Adım Adım Blog Nasıl Kurulur adlı konumuzu inceleyebilirsiniz.

Öncelikle sizlere Blogger üzerinden Özel Robot.txt yi bulmanız için görsel bir şekilde anlatım sağlayacağız. Yapmanız gereken ilk olarak blogunuzun bulunduğu düzenleme alanına girmeniz. Ardından sol taraftaki menüden '' Ayarlar '' seçeneğine tıklamanız gerekiyor. Açılan alt seçeneklerden '' Arama Tercihleri '' seçeneğine tıkladığınızda sağ taraftaki ekranda '' Özel Robot.txt '' yazar, oradaki seçeneklerde muhtemelen '' Hayır olan seçeneği manuel olarak '' Evet '' yapın. Onun ardından komuz içinde vereceğimiz komut dosyasını oradaki boş alan ekleyin. Sonra '' Değişiklikleri Kaydet '' butonuna basarak işleminizi kaydedin. Artık işlem tamam ve robot.txt komutun etkin durumda olacak. Bunun dışında Blogunuz için HTTPS'yi Nasıl Açarım ? diyorsanız konumuzu inceleyebilirsiniz.

Blogger'da Özel Robots.txt Dosyasını Düzenlemenin En Kolay Yolu

Ekleyebileceğiniz Robot.txt komut dosyası

User-agent: Mediapartners-Google 

Disallow:  

User-agent: * 

Disallow: /search

Allow: / 

Sitemap: http://www.blogisminiz.com/sitemap.xml

Yeşil olan yere kendi blog ismizi yazarak Değişiklikleri Kaydet demeyi unutmayın. Blogunuz için Blogger-Adsense İçin Ads.txt Dosyasını Nasıl Oluşturabilirim ? konumuzu inceleyebilirsiniz.

Kısaca bu komut dosyalarını sizlere açıklayalım ki ne yaptığınızı bilin.

User-agent: Mediapartners-Google

Bu kod Adsense kullanıcıları içindir. Adsense kullanmayan kullanıcılar bunu eklemese de olur.

Disallow:

Bu kod arama motorlarının ilgili konuları indexlemesini söylemektedir.

User-agent: *

Bu kod ile yahoo, yandex ve google gibi arama motorlarını sitenize çağırmaya yaramaktadır.

Allow: /

Anasayfanızın ve yazıların indexlemesine izin vermiş oluyoruz.

Sitemap

Zaten bu da sizin kendi sahip olduğunuz site haritanız. Yukarı da yeşil yazdığımız alana kendi blog isminizi yazın.

Robot.txt komut dosyası ile sitenizin bazı kısımlarının indexlenmesi SEO açısından oldukça önemlidir. Şunu da söylemek gerekirse blogspot robot.txt komut komut dosyası blogunuz için oldukça önemli bir dosyadır. Bu yüzden komutu yanlış girmeniz sonucunda, blogunuz arama motorları tarafından indexlenmeyip, google dizinine eklenmeyebilir. Blogger kullanıcı olarak Blogger Tema Değiştirme ve Özelleştirme Nasıl Yapılır ? diye merak ediyorsanız konumuzu inceleyebilirsiniz.

Bunu dışında sizlere komut satırlarının kullanım örneklerini detaylı olarak bildirelim.

Tüm arama motorlarına izin vermek için user-agent: * komutunu tek başına kullanmanız gerekmektedir.

user-agent: *

disallow: /ozel/

Bu komut satırını eklediğinizde https://www.siteadresiniz.com/ozel yazan tüm sayfalarınızı arama motorunun indexlemesine izin vermiyorusunuz ve google dizinine eklenmiyor.

user-agent: *

disallow: /ozel-belgeler.html/

Bu komut dosyası da aynı şekilde https://www.siteadresiniz.com/ozel-belgeler.html/ url sine sahip olan alanları taramayacak ve google dizinine eklemeyecektir.

user-agent: yandexbot

crawl-delay: 2

Yukarıda bulunan komut dosyası ise yandexbot'un sayfalarınızı 2 dakika taradıktan sonra hemen sitenizi terk edeceği komutudur ve pek kullanmanızı tavsiye etmiyoruz.

user-agent: *

Sitemap: http://www.siteadresiniz.com/sitemap.xml

Yapılan tarama sonucunda sitemap.xml hakkında bir sonuç bulunmazsa dezavantaj yaratabilir.

# bu işaret ile robot.txt dosyasına kendinize, tasarımcıya, site yöneticisine ya da ziyaretçiye hitap eden bir mesaj bırakabilirsiniz. Arama motorlarını bunu dikkate almaz. Örnek olarak #Not : Tema 2 hafta sonra robot aramasına açılacaktır.

user-agent: *

Disallow: /tasarim/

Disallow: /dosyalar/ # Bu dizin, kopyalama bittikten sonra erişime açılacak.

Robot.txt dosya tarafından kullanılan Özel Komutlar

user-agent: *

Disallow: /*?

Yukarıdaki örnekte de görüldüğü gibi ( ? )soru işaretinin bulunduğunu tüm url'ler robotların taramasına izin verilmediği url'ler olacaktır. Soru işareti yerine başka şeylere de yazabilirsiniz.

User-agent: Googlebot

Disallow: /*.asp$

Yukarıda $ işareti olan tüm .asp olan sayfalarınızı arama motorlarına kapatmış oluyoruz. Örneğin : https://www.siteadresiniz.com/ozel-txt-dosya.asp olan tüm sayfalar arama motorunun erişimine kapalı olur.

User-agent: *

Disallow: /ozel/

Allow: /ozel/ozel-degil.html

Bu komut dosyası ile ozel olan sayfaları engelledik fakat ozel-degil.html olan sayfaların taranmasına izin verdik. Yani ozel sayfaları engelledik ama ozel sayfası içindeki ozel-degil sayfalarının arama motorları tarafından taranmasına izin verildi.

User-agent: googlebot

Disallow: /ozel/

User-agent: *

Disallow: /

Yukarıdaki komut ile ozel yazan tüm sayfaları googlebot a engelledik. Diğer komutlarla ise googlebot dışındaki tüm arama motorlarını engellemiş olduk.

User-agent: googlebot

Disallow: /ozel/

User-agent: googlebot-images

Disallow: /ozel/

Disallow: /tasarim/

Googlebot için '' ozel '' dizinini erişime engellerken, Google görsel botun '' tasarim '' ve '' ozel '' dizini erişimi engellemiş olduk.

Robot.txt blogunuz için oldukça önemli bir komuttur. O yüzden kullanırken çok dikkatli olmanız gerekiyor. Robot.txt dosyanızın çalışıp, çalışmadığını test etmek için Search Console Robot.txt Test Aracı sitesini kullanarak test edebilirsiniz.