Derin internet
Derin Web (İngilizce web Derin de denir), derin web veya web görünmez (kesin olmayan bir terimdir) açıklanan web mimarisi bölümü tuval majör tarafından dizine değil genel arama motorları . Bu terim bazen, web'de bulunan şok edici ve çok görünür olmayan içerikleri belirtmek için kötü niyetli bir şekilde de kullanılır.
Tanımı Web Deep (Derin web)
In 2001 , Michael K. Bergman ifadesi oluşan derin web kelime için arama motorları . Bu terim, yüzey ağı veya referanslı ağ yerine oluşturulmuştur . Web'in genel arama motorları tarafından başvurulmayan bölümünü temsil eder ( BASE gibi bazı motorlar ağın bu bölümünü hesaba katar). Derin bir web bağımsız bir içerik teknik gerçeğini açıklar.
Tüm web siteleri derin web'deki sayfaları içerebilir . Özellikle, web mesajlaşma , çevrimiçi bankalar veya kısıtlı erişime sahip veya hatta kısmen veya tamamen ödenmiş siteler buluyoruz (bkz . Dizine eklememe nedenleri ).
karıştırma
“Derin ağ ile yeraltı interneti arasında ayrım yapmalıyız. »(İngilizce darknet'te), anonimleştirme işlevlerine sahip üst üste bindirilmiş bir ağ. Derin web, dizine eklenebilir ancak web'in dizine eklenmemiş içeriğidir. Bir anonimleştirme ağı da ( Tor , Freenet , I2P vb. araçlarla erişilebilen web servisleri ) değildir.
Deep web kelimesinin kullanımında kafa karışıklığı
" Derin ağ " ifadesi , medyada, içeriği veya hizmetleri sakıncalı veya yasa dışı olan web sitelerine atıfta bulunmak için düzenli olarak kullanılmaktadır. Medya artık teknik anlamda arama motorları tarafından atıfta bulunulan gizli veya görünmez sitelerden değil, daha sosyal bir anlamda düşük görünürlüklerini uyandırmak için konuşuyor.
Genel basında olduğu kadar basında da olduğu gibi, kafa karışıklığı düzenlidir. temmuz 2017bazı gazeteler Agence France-Presse'den bilgi aldığında ve derin web'i yanlış bir şekilde "yalnızca belirli ağlar üzerinden erişilebilir" olarak tanımladığında .
Dark web ile ilgili kafa karışıklığı , bazen şu anda yayınlanan bir makalede olduğu gibi tamamlanıyor.Mart 2017rtl.be'de " deep web [...] başka bir ağda, internete paraleldir. Sitelerin URL'leri .onion [...] ” ile bitiyor ki bu sadece dark web'e ve daha doğrusu Tor'a karşılık geliyor .
Derin kaynaklar
Tarayıcılarının Web'e göz atmak için arama motorları tarafından kullanılan programlardır. Bu robotlar yeni sayfalar keşfetmek için köprüleri takip eder . Derin kaynaklar, arama motorları tarafından kolayca ulaşılamayan kaynaklardır.
Derin web kaynakları aşağıdaki kategorilerden bir veya daha fazlasında sınıflandırılabilir:
- dinamik içerik;
- alakasız içerik;
- kısıtlı içerik;
- komut dosyası içeriği;
- endekslenemeyen biçim.
( daha fazla ayrıntı için endekslememe nedenleri bölümüne bakın).
Kesmek
BrightPlanet tarafından Temmuz 2001'de yapılan bir araştırma , derin web'in arama motorları tarafından indekslenen web'den 500 kat daha fazla kaynak içerebileceğini tahmin ediyordu. Bu kaynaklar, özellikle dosyaların sıkıştırılmasının daha az önemli olması nedeniyle hacimli olmalarının yanı sıra, genellikle çok iyi kalitededir.
Uzman site GinjFo'ya göre, derin ağ tüm web'in %96'sını temsil ederken, yüzey ağı içeriğin yalnızca % 4'ünü temsil ediyor.
In 2008 , görünmez web 70 tüm% 75'ini temsil eden internet trafiğinin yaklaşık bir, trilyon ait web sayfalarına değil endekslendi.
opak ağ
Web'in çok önemli bir kısmı teorik olarak indekslenebilir, ancak aslında motorlar tarafından indekslenmez. Bazı yazarlar bu durumda derin olmayan ve indekslenmemiş "web opak" ( opak web ) veya "web neredeyse görünür" ( Neredeyse görünür web ) webine atıfta bulunur .
Kısacası, hem derin web hem de karanlık web, İnternet kullanıcıları tarafından çevrimiçi olarak erişilebilir durumdadır ve arama motorları tarafından dizine eklenmez, ancak karanlık web dizine eklenebilir.
Algoritmaları motorların (örneğin benzer , PageRank başka endeksli bölgeleri kısmen üst üste bir arama motoru). Endeksleme robotlarının maddi kaynakları, önemli maddi kaynaklara rağmen, (devasa) ağın içerdiği teorik olarak onlara görünen tüm bağlantıları takip edemez.
Alman araştırmacılardan oluşan bir ekip, çok sayıda sayfa içeren sitelerle karşılaşıldığında robotları dizine ekleme davranışını inceledi. 2.147.483.647 sayfadan ( 231 - 1) oluşan bir web sitesi oluşturdular . Bu web sitesi ikili bir ağaç olduğundan çok derindir: belirli sayfalara ulaşmak için en az 31 tıklama gerekir. Bu siteyi bir yıl boyunca değişmeden çevrimiçi bıraktılar. Sonuçlar, bu site için indekslenen sayfa sayısının en iyi ihtimalle %0,0049'u geçmediğini gösteriyor.
Belirli bir site için dizine eklenecek sayfa hacmi sorununu çözmek için, Google motoru 2005 yılında site haritası protokolünü tanıttı . Robota bir site haritası dosyası sağlanması sayesinde indeksleme için verimlilik elde edilmesini sağlar. Bu dosya yöneticisi tarafından sitenin kökünde konur web .
Endekslememe nedenleri
- Siteler gitgide daha fazla dinamik sayfa içerir : gezinme köprüleri talep üzerine oluşturulur ve bir ziyaretten diğerine farklılık gösterir.
- Bazı siteler (veya sitelerin bir kısmı) diğer sayfalar tarafından bağlanmaz ve bu nedenle robotlar tarafından dizine eklenerek keşfedilemezler (bu nedenle dizine eklenmesini sağlamanın tek yolu bu dizine eklemeyi arama motorundan açıkça istemektir. bu sürecin). Bu içerik olmadan sayfaları olarak bilinir geri (veya inlinks ).
- Bazen belirli bir sayfaya erişebilmek için bir arama kriteri formunu doğru bir şekilde doldurmak gerekir. Bu, veritabanlarını çalıştıran siteler için geçerlidir.
- Bazı siteler, gerçek içeriğe erişmeden önce kimlik doğrulama (bir kullanıcı adı ve şifre gerektirir) gerektirir: bu, belirli ücretli sitelerde ve ücretli arşivleri olan sitelerde (çevrimiçi gazeteler, meteorolojik veritabanları, vb . ) durum böyledir .
- Web sayfaları tasarım gereği indekslemeyi zorlaştırabilir. Özellikle, klasik gövde öğeleri yerine çerçeve kümesi HTML öğeleri içerebilirler . Bir sayfanın koduna eklenen robot.txt dosyasından oluşan etiketler, telif hakkını korumayı, ziyaretleri sınırlamayı veya siteyi çok sık erişime karşı korumayı mümkün kılar. Bununla birlikte, bir robotun ilgili taleplerde bulunması pek mümkün değildir; bu nedenle indeksleme ziyareti, yalnızca statik URL'leri izleyerek erişilebilen sayfalara indirgenir .
- Sayfaları birbirine bağlamak için JavaScript dilinin ( Ajax gibi ) kullanılması, yeterince anlaşılmaması, hatta robotlar tarafından yanlış anlaşılması, çoğu zaman onların dizine eklenmesini engeller.
- Görünmez ağ, arama motorlarının anlayamadığı veri formatlarını kullanan kaynaklardan da oluşur. Uzun bir süre boyunca, bu, PDF formatında veya Microsoft Office'in formatlarında (Excel, Word, Power Point, vb.), başlangıçta Web'in ana dili olarak kabul edilen tek format olan HTML'de böyleydi . Büyük arama motorları ( Google , Yahoo ! , Bing, vb.), bu biçimleri kullanarak belgeleri değişen derecelerde verimlilikle indeksleyebilir. Google, 2008'in başından beri sayfaları flash biçiminde tanımaktadır .
- Geleneksel arama motorları, büyük veritabanlarını barındıran sitelerin içeriğinin yalnızca %5 ila %60'ını endeksler: İnternet Film Veritabanı , PubMed , 370.000 GiB içeren bir veritabanını çevrimiçi hale getiren Ulusal İklimsel Veri Merkezi , NASA'nınki ise 220.000 GiB'dir .
- Motorlar büyük sayfaları kısmen indeksler: Google ve Yahoo! 500 kilobayt ile içerik vardır.
özel web
Web sitesi yöneticisinin isteği nedeniyle bazı sayfalara robotlar erişemez. Özellikle bir web sitesinin köküne yerleştirilen robots.txt dosyasının kullanılması , sitenin tamamının veya bir kısmının işbirliği yapan robotlardan engellenmesini mümkün kılar, site İnternet kullanıcıları tarafından erişilebilir durumda kalır. Kullanımı da mümkündür meta robot elemanı aynı amaçla yanı sıra aşağıdaki bağlantıları ve (ne olursa olsun indeksleme izninin) sayfaların disallow önbelleğe almasını önlemek için. Bu sayfalar daha sonra bazen derin web ile ilgili bir kategoriye yerleştirilir: özel web .
tescilli web
Web sahibi, içeriğe erişmek için tanımlamanın gerekli olduğu sayfaları belirler. Tescilli web, derin ağa dahildir.
Notlar ve referanslar
-
Quebec'te 2019'dan beri önerilen terim , bkz. “ Web görünmez ” , Le Grand Dictionnaire terminologique , Office québécois de la langue française ( 9 Şubat 2020'de erişildi ) .
-
Fransızca Dil Zenginleştirme Komisyonu tarafından 2017'den beri Fransa'da önerilen terim , bkz. " Bilgisayar ve İnternet sözlüğü (terimler, ifadeler ve kabul edilen tanımların listesi) NOR: CTNR1725303K " , Légifrance üzerine ( 8 Şubat 2020'de danışıldı )
-
(içinde) Michael K. Bergman,
" The Deep Web: Surfacing Hidden Value " , The Journal of Electronic Publishing , 2001, cilt. 7, n o 1.
-
(tr) Jean-Philippe Rennard ve Pierre Dal Zotto , " darknet, darkweb, deepweb: Ne gerçekten internetin karanlık tarafında gizleniyor " , The Conversation'da (erişim tarihi 10 Şubat 2020 )
-
(içinde) Alex Wright , " Google'ın Anlayamadığı Bir 'Derin Web'i Keşfetmek " , The New York Times ,22 Şubat 2009( çevrimiçi okuyun , 23 Şubat 2009'da danışıldı )
-
" Bilgisayar ve İnternet sözlüğü (terimlerin, ifadelerin ve benimsenen tanımların listesi) " , www.legifrance.gouv.fr adresinde ( 9 Şubat 2020'de erişildi )
-
Çevrimiçi dolandırıcılık: Karanlık web ve derin web gözardı etmiyoruz üzerine, JournalDuNet .
-
Çeşitli Fransız "Derin Web" ilaç satış siteleri hack üzerine, LeMonde.fr .
-
Derin ağın “Kırmızı Odaları”: Efsaneden Gerçeğe , 7 Haziran 2018, yazan Valentine Leroy
-
İki "Karanlık Web" hub bir polis operasyonunda sonra kapalı üzerine, LePoint.fr .
-
İki "Karanlık Web" hub bir polis operasyonunda sonra kapalı üzerine, BourseDirecte.fr .
-
Biz (neredeyse) internet üzerinden silah, uyuşturucu ve pasaport satın: KOYU WEB kalbinde olağanüstü dalma üzerinde RTL.be .
-
" Web, içeriğin sadece %4'ü görünüyor, Deep Web nerede saklanıyor?" - GinjFo ” , GinjFo'da ( 8 Nisan 2017'de erişildi )
-
Francis Pisani ve Dominique Piotet, Web dünyayı nasıl değiştiriyor: çoklukların simyası , ed. Pearson, 2008 ( ISBN 978-2-7440-6261-2 ) , s. 188 .
-
(içinde) Chris Sherman ve Gary Price, The Invisible Web , Eylül 2001
-
(tr-tr) “ anlama web sayfaları daha iyi ” den, Resmi Google Web Yöneticisi Merkezi Blog (erişilen 2016 8 Mart )
-
(in) " Google.com Gibi Bir Arama Motoru PDF Dosyalarımı Dizine Alabilir mi? "
-
(içinde) " PDF'lerinizin Google (ve diğer arama motorları) ile iyi çalışmasını sağlayın ' .
-
(içinde) " Web Yöneticisi Araçları Yardımı: Flash ve diğer zengin medya dosyaları " .
-
Jean-Paul Pinte, " The Invisible Web: The Den of Cybercrime ", Pour la science , n o 70,Ocak-Mart 2011, s. 102
-
Jean-Paul Pinte, " The Invisible Web: The Den of Cybercrime ", Pour la science , n o 70,Ocak-Mart 2011, s. 103
Şuna da bakın:
İlgili Makaleler
Dış bağlantılar