Örümcek Ağı Örümcek ve Web Tarayıcılarının Tanımı

Örümcekler, veri ararken Web’de 'tarama' yapan programlardır (veya otomatik komut dosyalarıdır). Örümcekler web sitesi URL'leri arasında seyahat eder ve e-posta adresleri gibi web sayfalarından veri alabilir. Örümcekler ayrıca web sitelerinde bulunan bilgileri arama motorlarına beslemek için kullanılır.

'Web tarayıcıları' olarak da adlandırılan örümcekler, Web’de arama yapar ve hepsi amaçlarına uygun değildir.

Spam Toplayıcılar Örümcek Bilgi Toplayacak Web Siteleri

Google, Yahoo! ve diğer arama motorları sadece web sitelerini taramakla ilgilenmeyenler değil - dolandırıcılardan ve spam gönderenlerden de.

Örümcekler ve diğer otomatik araçlar, spam gönderenler tarafından e-posta adreslerini (internette bu uygulamaya genellikle 'hasat' denir) bulmak için kullanılır ve ardından spam listeleri oluşturmak için bunları kullanır.

Örümcekler ayrıca arama motorları tarafından web siteniz hakkında daha fazla bilgi edinmek için kullanılan, ancak denetlenmeyen bırakılan, web sitenizi nasıl tarayacağınızla ilgili talimatlar (veya 'izinler') olmayan bir web sitesi de önemli bilgi güvenliği riskleri oluşturabilir. Örümcekler bağlantıları izleyerek seyahat ederler ve veritabanlarına, program dosyalarına ve erişmelerini istemediğiniz diğer bilgilere bağlantı bulma konusunda çok ustalar.

Web yöneticileri, örümceklerin ve diğer robotların sitelerini ne ziyaret ettiğini görmek için günlükleri görüntüleyebilir. Bu bilgiler web yöneticilerinin sitelerini kimin endekslediğini ve ne sıklıkta olduklarını bilmelerine yardımcı olur.

Bu bilgiler, web yöneticilerinin SEO'larında ince ayar yapmasına ve bazı robotların gelecekte sitelerini taramasını yasaklamak için robot.txt dosyalarını güncellemelerine olanak sağladığı için yararlıdır.

Web Sitenizi İstenmeyen Robot Tarayıcılardan Korumanın İpuçları

İstenmeyen tarayıcıları web sitenizden uzak tutmanın oldukça basit bir yolu var. Sitenizi tarayan kötü niyetli örümcekler hakkında endişe duymasanız bile (e-posta adresini gizlemek sizi çoğu tarayıcıdan korumaz), yine de arama motorlarına önemli talimatlar vermeniz gerekir.

Tüm web sitelerinde, kök dizininde robots.txt dosyası adı verilen bir dosya bulunmalıdır. Bu dosya, web tarayıcılarına, bir arama motorlarıysa, dizin sayfalarına bakmalarını (belirli bir sayfanın meta verilerinde aksi belirtilmediği sürece) dizine alınmalarını istediğiniz yerlerde talimat vermenizi sağlar.

İstediğiniz tarayıcılara göz atmalarını istediğiniz yeri söyleyebildiğiniz gibi, nereye gidemeyeceklerini de söyleyebilir ve hatta web sitenizdeki belirli tarayıcıları engelleyebilirsiniz.

Bir araya getirilen robots.txt dosyasının, arama motorları için muazzam bir değere sahip olacağı ve web sitenizin performansını artırmada anahtar bir unsur olabileceğini, ancak bazı robot tarayıcıların talimatlarınızı görmezden geleceğini unutmayın. Bu nedenle, tüm yazılımlarınızı, eklentilerinizi ve uygulamalarınızı her zaman güncel tutmanız önemlidir.

İlgili Makale ve Bilgiler

Kötü amaçlı (spam) amaçlarla kullanılan bilgi hasadı yaygınlığından dolayı, bazı uygulamaları yasa dışı kılmak için yasa yürürlüğe girdi. Bu tüketici koruma yasaları, 2003 tarihli CAN-SPAM Kanununa girmektedir.

İşletmeniz herhangi bir toplu postalama ya da bilgi toplama ile uğraşırsa, CAN-SPAM Yasasını okumak için zaman ayırmanız önemlidir.

Aşağıdaki makaleleri okuyarak, spam karşıtı yasalar ve spam gönderenlerle nasıl başa çıkılacağı ve bir işletme sahibi olarak ne yapamayacağınız hakkında daha fazla bilgi edinebilirsiniz:

• CAN-SPAM Yasası 2003
• CAN-SPAM Kar Amacı Gütmeyenler Kanunu
• 5 CAN-SPAM Kuralları Küçük İşletme Sahiplerinin Anlaması Gerekenler