Robots.txt Nedir?

5

Robots.txt Nedir? Bu terim ile internet işi ilen uğraşan hemen hemen,herkes karşılaşmıştır,belki araştırma yapıp öğrenmişlerdir ben bu makaleyi Robots.txt terimini bilmeyenler için yazıyorum.Robotx.txt Google botları için bir rehber gibidir,şöyle düşünün siz yabancı bir ülkeye gittiniz orada bir rehber olmadan,gezmek dolaşmak kolay birşeymi?Tabikide hayır,Google botlarıda bizim internet sitemize giriş yaptığında illaki bir rehbere ihtiyaç duyacaktır,Google botları web sitemizi ziyaret ettiğinde ilk olarak Robots.txt dosyamıza girecektir.Robots.txt dosyamızda bazı kodlar görecektir bu kodlara göre sitemizi yorumlayıp indeksleyecektir.sonuç olarak şunu çıkarabiliriz Robots.txt Google botları için olmazsa olmazdır!

Robots.txt Yapımı 

Robotx.txt dosyası nasıl yapılır? Belki bu konu hakkında bazı arkadaşların tecrübeleri mevcuttur,ben yine de detaylı olarak anlatma gereği duyuyorum,şablonumuz şu şekilde olacaktır.

User-agent: Google botunun adı gelecej
Disallow: Botun izinlerine erişeceğimiz komut gelecek

Hemen örnek bir kod vereyim,aşağıdaki kod ile tüm Google botlarının web sayfamıza erişmesini engellemiş oluyoruz,sitemiz bu sebepten dolayı Google tarafından indekslenmiyor.

User-agent: *

Disallow : /

Bir örnek kod daha vermek istiyorum,aşağıdaki kodda ise benim belirttiğim dizin’in Google botları tarafından taranmamasını istiyorum.

User-agent: *

Disallow : /cgi-bin
Disallow : /dizin/indeks

Buradan anladığınız üzere fazla kod kalabalığı yapmamak için Disallow komutunu birden fazla alt alta kullanabiliriz.. Şimdi ise herhangi bir dosyanın Google botlarına bu dosya indeksleme diyelim…

User-agent: *

Disallow : /cgi-bin/dosyaadi.html
Disallow : /cgi-bin/dosyaadi.php
Disallow : /cgi-bin/dosyaadi.asp
Disallow : /cgi-bin/dosyaadi.js

Yukarıda disallow komutu ile ,belirttiğimiz dosyaların Google tarafından es geçilmesini istedik,bunların bizim için çok yararı olacaktır,gereksiz url barındırmanın hiçbir sebebi olduğunu düşünmüyorum.

Disallow komutunu öğrendik şimdi ise tüm dizinleri engelliyelim ancak bir dizinin indekslenmenisine izin verelim,bu da aynı mantık diyebiliriz.

User-agent: *

Disallow : /

Allow: /indeks-al

Bu kod ile yukarıdaki belirttiğim olayı başarı ile gerçekleştirdik… Peki,hazır sistemlerden olan ve ençok kullanılan blog yazılımı WordPress için birkaç tanede robots.txt kodu paylaşmak istiyorum.

 User-agent: *
 
 Disallow: /wp-admin/
 Disallow: /wp-includes/
 Disallow: /feed/
 Disallow: /*.css$
 Disallow: /*.js$

Son kullandığımız son iki kodu bazı arkadaşlar anlamamış olabilir onlar için detaylı bir şekilde anlatma gereği duyuyorum,” * ” işareti ile herhangi bir dosya ismi belirttim sonuna ise “js “veya”css” ekleyerek o uzantılı dosyaları indekselememesini Google bot’a ilettik.

 

Bu sitenin SEO işlemleri Bora B. tarafından yapılmaktadır..

About Author

Sosyclub kurucusu,yazarı programlama ve sosyal içeriklerle ilgilenen lise öğrencisi,içerik üretmeyi çok seven aynı zamanda sporile haşır neşir olan,bilgisayar başında zaman öldüren şahıs!

5 Yorum

  1. Diyarbakır Haber on

    Seo’nun olmassa olmazlarındandır, elbette buna sitemap’da dahil olmak üzere, dikkat edilir kullanıldıgında çok fayda sağlayacağı aşikardır. Google webmaster tools ile robots.txt dosyanızı daha hızlı ve pratik olarak google’a kayıt ettirebilirsiniz

  2. Robots.txt de yapılacak olan herhangi bir izin hatası google botlarının siteden uzaklaşmasına sebep olabileceği ve buda biz site sahipleri için hiç istenmeyecek durumlar yaratacağı için dikkat etmeliyiz. Bu yüzden ayrıntılı hazırlamış olduğunuz bu dökümantasyonu herkesin okumasını tavsiye ederim. Robots.txt fazlasıyla açıklayıcı bir makale olmuş.

  3. Web sitemde en çok önem verdiğim konulardan biri. Çünkü Google robots.txt’nin doğru ve sağlıklı olmasına büyük önem veriyor.

  4. çok teşekkürler kendi sitemde robot.txt sıkıntısı çekiyordum ne olduğunu anlayamamıştım sayenizde çözdüm

Leave A Reply

Bumerang - Yazarkafe