 |
| Blogger'da Özel Robots.txt Dosyasını Düzenlemenin En Kolay Yolu |
Robot.txt, blogunuzun/sitenizin arama motorlarına sitenizin hangi konularını google dizinine ekleyebileceğini, hangi dizini taraması gerektiğini, hangi arama motorunun giriş izni olduğunu ya da olmadığını söyleyen komut dosyasıdır. Bunu siteniz/blogunuzda etkin etmeniz sizin yararınıza olacaktır. Eğer hali hazırda bir blogunuz yoksa Adım Adım Blog Nasıl Kurulur adlı konumuzu inceleyebilirsiniz.
Öncelikle sizlere Blogger üzerinden Özel Robot.txt yi bulmanız için görsel bir şekilde anlatım sağlayacağız. Yapmanız gereken ilk olarak blogunuzun bulunduğu düzenleme alanına girmeniz. Ardından sol taraftaki menüden '' Ayarlar '' seçeneğine tıklamanız gerekiyor. Açılan alt seçeneklerden '' Arama Tercihleri '' seçeneğine tıkladığınızda sağ taraftaki ekranda '' Özel Robot.txt '' yazar, oradaki seçeneklerde muhtemelen '' Hayır olan seçeneği manuel olarak '' Evet '' yapın. Onun ardından komuz içinde vereceğimiz komut dosyasını oradaki boş alan ekleyin. Sonra '' Değişiklikleri Kaydet '' butonuna basarak işleminizi kaydedin. Artık işlem tamam ve robot.txt komutun etkin durumda olacak. Bunun dışında Blogunuz için HTTPS'yi Nasıl Açarım ? diyorsanız konumuzu inceleyebilirsiniz.
 |
| Blogger'da Özel Robots.txt Dosyasını Düzenlemenin En Kolay Yolu |
Ekleyebileceğiniz Robot.txt komut dosyası
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.blogisminiz.com/sitemap.xml
Yeşil olan yere kendi blog ismizi yazarak Değişiklikleri Kaydet demeyi unutmayın. Blogunuz için Blogger-Adsense İçin Ads.txt Dosyasını Nasıl Oluşturabilirim ? konumuzu inceleyebilirsiniz.
Kısaca bu komut dosyalarını sizlere açıklayalım ki ne yaptığınızı bilin.
User-agent: Mediapartners-Google
Bu kod Adsense kullanıcıları içindir. Adsense kullanmayan kullanıcılar bunu eklemese de olur.
Disallow:
Bu kod arama motorlarının ilgili konuları indexlemesini söylemektedir.
User-agent: *
Bu kod ile yahoo, yandex ve google gibi arama motorlarını sitenize çağırmaya yaramaktadır.
Allow: /
Anasayfanızın ve yazıların indexlemesine izin vermiş oluyoruz.
Sitemap
Zaten bu da sizin kendi sahip olduğunuz site haritanız. Yukarı da yeşil yazdığımız alana kendi blog isminizi yazın.
Robot.txt komut dosyası ile sitenizin bazı kısımlarının indexlenmesi SEO açısından oldukça önemlidir. Şunu da söylemek gerekirse blogspot robot.txt komut komut dosyası blogunuz için oldukça önemli bir dosyadır. Bu yüzden komutu yanlış girmeniz sonucunda, blogunuz arama motorları tarafından indexlenmeyip, google dizinine eklenmeyebilir. Blogger kullanıcı olarak Blogger Tema Değiştirme ve Özelleştirme Nasıl Yapılır ? diye merak ediyorsanız konumuzu inceleyebilirsiniz.
Bunu dışında sizlere komut satırlarının kullanım örneklerini detaylı olarak bildirelim.
Tüm arama motorlarına izin vermek için user-agent: * komutunu tek başına kullanmanız gerekmektedir.
user-agent: *
disallow: /ozel/
Bu komut satırını eklediğinizde https://www.siteadresiniz.com/ozel yazan tüm sayfalarınızı arama motorunun indexlemesine izin vermiyorusunuz ve google dizinine eklenmiyor.
user-agent: *
disallow: /ozel-belgeler.html/
Bu komut dosyası da aynı şekilde https://www.siteadresiniz.com/ozel-belgeler.html/ url sine sahip olan alanları taramayacak ve google dizinine eklemeyecektir.
user-agent: yandexbot
crawl-delay: 2
Yukarıda bulunan komut dosyası ise yandexbot'un sayfalarınızı 2 dakika taradıktan sonra hemen sitenizi terk edeceği komutudur ve pek kullanmanızı tavsiye etmiyoruz.
user-agent: *
Sitemap: http://www.siteadresiniz.com/sitemap.xml
Yapılan tarama sonucunda sitemap.xml hakkında bir sonuç bulunmazsa dezavantaj yaratabilir.
# bu işaret ile robot.txt dosyasına kendinize, tasarımcıya, site yöneticisine ya da ziyaretçiye hitap eden bir mesaj bırakabilirsiniz. Arama motorlarını bunu dikkate almaz. Örnek olarak #Not : Tema 2 hafta sonra robot aramasına açılacaktır.
user-agent: *
Disallow: /tasarim/
Disallow: /dosyalar/ # Bu dizin, kopyalama bittikten sonra erişime açılacak.
Robot.txt dosya tarafından kullanılan Özel Komutlar
user-agent: *
Disallow: /*?
Yukarıdaki örnekte de görüldüğü gibi ( ? )soru işaretinin bulunduğunu tüm url'ler robotların taramasına izin verilmediği url'ler olacaktır. Soru işareti yerine başka şeylere de yazabilirsiniz.
User-agent: Googlebot
Disallow: /*.asp$
Yukarıda $ işareti olan tüm .asp olan sayfalarınızı arama motorlarına kapatmış oluyoruz. Örneğin : https://www.siteadresiniz.com/ozel-txt-dosya.asp olan tüm sayfalar arama motorunun erişimine kapalı olur.
User-agent: *
Disallow: /ozel/
Allow: /ozel/ozel-degil.html
Bu komut dosyası ile ozel olan sayfaları engelledik fakat ozel-degil.html olan sayfaların taranmasına izin verdik. Yani ozel sayfaları engelledik ama ozel sayfası içindeki ozel-degil sayfalarının arama motorları tarafından taranmasına izin verildi.
User-agent: googlebot
Disallow: /ozel/
User-agent: *
Disallow: /
Yukarıdaki komut ile ozel yazan tüm sayfaları googlebot a engelledik. Diğer komutlarla ise googlebot dışındaki tüm arama motorlarını engellemiş olduk.
User-agent: googlebot
Disallow: /ozel/
User-agent: googlebot-images
Disallow: /ozel/
Disallow: /tasarim/
Googlebot için '' ozel '' dizinini erişime engellerken, Google görsel botun '' tasarim '' ve '' ozel '' dizini erişimi engellemiş olduk.
Robot.txt blogunuz için oldukça önemli bir komuttur. O yüzden kullanırken çok dikkatli olmanız gerekiyor. Robot.txt dosyanızın çalışıp, çalışmadığını test etmek için Search Console Robot.txt Test Aracı sitesini kullanarak test edebilirsiniz.
Hocam sizce google web master toolsun robot txt'ini mi kullanalım yoksa bloggera kendimiz mi ekleyelim tam anlayamadım?
YanıtlaSilFeridun bey, Blogger'a kendinizin eklemesi daha doğru olacaktır. Ayarlar kısmından arama tercihleri oradan da özel robots.txt kısmına yazmanın gerekecek. Çalışıp çalışmadığını webmaster toolsdan kontrol edebilirsiniz, kendiniz eklemesini yaptıktan sonra..
Sil