Robots.txt Oluşturucu - Robots.txt Generator

Ottimizzazione del motore di ricerca

Robots.txt Oluşturucu - Robots.txt Generator


Predefinito: tutti i robot sono:  
    
Crawl-Delay:
    
Mappa del sito: (lascia vuoto se non hai) 
     
Cerca robot: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directory ristrette: Il percorso è relativo a root e deve contenere una barra finale "/"
 
 
 
 
 
 
   



Ora crea il file "robots.txt" nella tua directory principale. Copia sopra il testo e incollalo nel file di testo.


Di Robots.txt Oluşturucu - Robots.txt Generator

ROBOTS.TXT TARAYICILAR İÇİN BİR KILAVUZ - GOOGLE ROBOTS TXT OLUŞTURUCUYU KULLANIN

Robots.txt, bir web sitesinin nasıl taranacağına ilişkin talimatları içeren bir dosyadır. Aynı zamanda robot dışlama protokolü olarak da bilinir ve bu standart, siteler tarafından botlara web sitelerinin hangi bölümünün indekslemeye ihtiyaç duyduğunu söylemek için kullanılır. Ayrıca, bu tarayıcılar tarafından işlenmesini istemediğiniz alanları da belirtebilirsiniz; bu tür alanlar yinelenen içerik barındırır veya geliştirme aşamasındadır. Kötü amaçlı yazılım dedektörleri, e-posta toplayıcıları gibi botlar bu standardı takip etmezler ve menkul kıymetlerinizin zayıf yönlerini tarayacaklardır ve sitenizi indekslenmesini istemediğiniz alanlardan incelemeye başlamaları önemli bir olasılıktır.

Tam bir Robots.txt dosyası "Kullanıcı aracısı" içerir ve altında, "İzin Ver", "İzin Verme", "Tarama-Geciktirme" gibi diğer yönergeleri yazabilirsiniz, eğer elle yazılırsa, çok zaman alabilir ve tek bir dosyaya birden çok komut satırı girebilirsiniz. Bir sayfayı dışlamak istiyorsanız, "İzin verme: botların ziyaret etmesini istemediğiniz bağlantı" yazmanız gerekir, aynı izin özelliği için de geçerlidir. Robots.txt dosyasında bulunan tek şeyin bu olduğunu düşünüyorsanız, o zaman kolay değildir, bir yanlış satır sayfanızı dizinleme kuyruğundan çıkarabilir. Bu nedenle, görevi profesyonellere bırakmak daha iyidir, bırakın Robots.txt oluşturucumuz dosyayı sizin için halletsin.

SEO'DA ROBOTS TXT NEDİR?

Bu küçük dosyanın web siteniz için daha iyi bir sıralama elde etmenin bir yolu olduğunu biliyor musunuz?

Arama motoru botlarının ilk baktığı dosya, robotun txt dosyasıdır, eğer bulunmazsa, tarayıcıların sitenizin tüm sayfalarını dizine eklememe olasılığı çok yüksektir. Bu küçük dosya daha sonra küçük talimatlar yardımıyla daha fazla sayfa eklediğinizde değiştirilebilir, ancak ana sayfayı reddetme yönergesine eklemediğinizden emin olun. Google bir tarama bütçesiyle çalışır; bu bütçe bir tarama sınırına dayalıdır. Tarama sınırı, tarayıcıların bir web sitesinde geçirecekleri sürenin sayısıdır, ancak Google sitenizi taramanın kullanıcı deneyimini salladığını anlarsa, siteyi daha yavaş tarar. Bu daha yavaş, Google her örümcek gönderdiğinde, sitenizin yalnızca birkaç sayfasını kontrol edeceği ve en son gönderinizin dizine eklenmesinin zaman alacağı anlamına gelir. Bu kısıtlamayı kaldırmak için web sitenizin bir site haritasına ve bir robots.txt dosyasına sahip olması gerekir.

Her bot bir web sitesi için tarama teklifine sahip olduğundan, bu, bir wordpress web sitesi için de bir En iyi robot dosyasına sahip olmayı gerekli kılar. Bunun nedeni, indekslemeye ihtiyaç duymayan birçok sayfa içermesidir, araçlarımızla bir WP robots txt dosyası bile oluşturabilirsiniz. Ayrıca, bir robotik txt dosyanız yoksa, tarayıcılar web sitenizi yine de dizine ekler, eğer bir blogsa ve sitede çok fazla sayfa yoksa, bir tane olması gerekmez.

BİR ROBOTS.TXT DOSYASINDAKİ YÖNERGELERİN AMACI

Dosyayı manuel olarak oluşturuyorsanız, dosyada kullanılan yönergeleri bilmeniz gerekir. Nasıl çalıştıklarını öğrendikten sonra dosyayı daha sonra bile değiştirebilirsiniz.

  • Crawl-delay Bu yönerge, tarayıcıların ana bilgisayarı aşırı yüklemesini önlemek için kullanılır, çok fazla istek sunucuyu aşırı yükleyerek kötü kullanıcı deneyimine neden olabilir. Tarama gecikmesi, arama motorlarından, Bing, Google, Yandex'den farklı botlar tarafından farklı şekilde ele alınır, bu yönergeyi farklı şekillerde ele alır. Yandex için bu, birbirini izleyen ziyaretler arasında bir beklemedir, Bing için, botun siteyi yalnızca bir kez ziyaret edeceği bir zaman penceresi gibidir ve Google için botların ziyaretlerini kontrol etmek için arama konsolunu kullanabilirsiniz.
  • Allowing Allowing yönergesi, aşağıdaki URL'nin endekslenmesini etkinleştirmek için kullanılır. İstediğiniz kadar URL ekleyebilirsiniz, özellikle bir alışveriş sitesiyse, listeniz genişleyebilir. Yine de, robots dosyasını yalnızca sitenizde dizine alınmasını istemediğiniz sayfalar varsa kullanın.
  • İzin Verme Bir Robots dosyasının birincil amacı, tarayıcıların belirtilen bağlantıları, dizinleri vb. Ziyaret etmesini reddetmektir. Bununla birlikte, bu dizinlere, standartla işbirliği yapmadıkları için kötü amaçlı yazılımları kontrol etmesi gereken diğer botlar tarafından erişilir.

SİTE HARİTASI İLE ROBOTS.TXT DOSYASI ARASINDAKİ FARK

Bir site haritası, arama motorları için yararlı bilgiler içerdiğinden tüm web siteleri için hayati önem taşır. Bir site haritası, botlara, sitenizin ne tür içerik sağladığını web sitenizi ne sıklıkla güncellediğinizi söyler. Birincil amacı, sitenizin taranması gereken tüm sayfaları arama motorlarına bildirirken, robotik txt dosyası tarayıcılar içindir. Tarayıcılara hangi sayfanın taranacağını ve hangisinin taranmayacağını söyler. Sitenizin dizine eklenmesini sağlamak için bir site haritası gereklidir, oysa robotun txt'si değildir (dizine eklenmesi gerekmeyen sayfalarınız yoksa).

GOOGLE ROBOTS FİLE GENERATOR KULLANARAK ROBOT NASIL YAPILIR?

Robots txt dosyasının oluşturulması kolaydır, ancak nasıl yapılacağının farkında olmayan kişilerin zamandan kazanmak için aşağıdaki talimatları izlemeleri gerekir.

  • Robots.txt Oluşturucu sayfasına geldiğinizde , birkaç seçenek göreceksiniz, tüm seçenekler zorunlu değildir, ancak dikkatli bir şekilde seçmeniz gerekir. İlk satır, tüm robotlar için varsayılan değerleri ve bir tarama gecikmesini korumak istiyorsanız içerir. 
  • İkinci satır site haritası hakkında, sahip olduğunuzdan emin olun ve robotun txt dosyasında bundan bahsetmeyi unutmayın.
  • Bundan sonra, arama motorlarının botlarının taranmasını veya taranmamasını istiyorsanız, arama motorları için birkaç seçenek arasından seçim yapabilirsiniz.
  • Tarayıcıların sayfanın alanlarını dizine eklemesini kısıtlayacağınız engellemedir. Alanı dizinin veya sayfanın adresiyle doldurmadan önce eğik çizgi eklediğinizden emin olun.