Robots ve Noindex’i Doğru Kullanmalısınız

Google’da içeriklerinizin taranmaması ve SERP sonuçlarına
dahil edilmemesi için kullanabileceğiniz 2 farklı yöntem var. Birisi
robots.txt, diğeriyse noindex etiketidir.
Robots.txt ile noindex etiketi arasında büyük bir fark
bulunur ve ne zaman kullanılması gerektiği oldukça önemli durumdadır. Eğer bir
sayfanın taranmasını fakat SERP üzerinde gözükmemesi istiyorsanız noindex
etiketini kullanmalısınız. Fakat bir sayfanın hiç taranmaması ve SERP’e dahil
olmamasını istiyorsanız robots.txt dosyasını kullanmalısınız.
Robots.txt ve Noindex
Robots.txt dosyası veya noindex, ikisi de arama motorlarına
yardımcı olabilecek olan 2 farklı uygulamadır. Her 2 yöntemde 1 internet
sitesinin nasıl çalışabileceğine dair yönergeleri arama motorlarına iletir.
Fakat ikisinin birbirinden farklı kullanım amacı vardır ve birbirleriyle
karıştırılmamalıdır.
Noindex Ne Zaman Kullanılmalıdır?
Noindex etiketini herhangi bir sayfaya dahil ettiğinizde
arama motorları o sayfayı tarar fakat SERP’e dahil etmez. Noindex etiketini,
HTML sayfasının robots meta etiketi bölümüne yerleştirerek kullanabilirsiniz.
HTML sayfanızın robots meta etiketi kısımlarına dahil
ettiğiniz noindex etiketi, sayfanın robotlar tarafından görüntülenebilmesini
fakat arama motorlarına dahil edilmemesini sağlayacaktır.
Robots.txt Ne Zaman Kullanılmalıdır?
Robots.txt dosyası, internet sitesi içerisindeki URL’lerin
erişimine engel olur. ‘’Disallow’’ ile birlikte çalışır ve URL’e giriş yapmak
isteyen arama motoru botuna izin vermez. Bu sayede bot, içeriği tarayamaz ve
dizine dahil edemez.
Herhangi bir sayfanın botlar tarafından işlenmesine,
taranabilmesine ve dizine dahil edilmesine engel olmak robots.txt dosyasındaki
‘’disallow’’ bölümünden yararlanmalısınız.
Genellikle Yapılan Hata Nedir?
Çoğu internet sitesi sahibi, aynı sayfa için hem ‘’noindex’’
etiketi hem de robots.txt üzerinde ‘’disallow’’ kullanır. Bu durum, arama
motoru botlarınca sorunlara yol açabilir.
Bunlar da
ilginizi çekebilir.
Her hafta, website sahipleri için optimizasyon ve iyileştirmeyle ilgili bildiklerimizi paylaşıyoruz.
E-bültene abone olun
Türkiye’de SEO’nun Evrimi: 1999’dan 2025’e Yolculuk
1999 yılından 2025 yılına kadar uzanan bu süreç, Türkiye’nin dijital pazarlama alanındaki büyük dön..
SEO’da Kaynağa Dönüşen Sayfalar Nasıl Üretilir?
SEO’da kaynağa dönüşen sayfalar nasıl üretilir sorusu, etkili bir backlink stratejisinin temel taşl..
SEO’da Yasal Sınırlar ve Riskler
SEO’da yasal sınırlar ve riskler, dijital dünyada görünür olmak isteyen herkes için önem taşıyor. G..