Apache Hive

Apache Hive

Bilgi
Tarafından geliştirildi Katkıda bulunanlar
İlk versiyon 9 Kasım 2011
Son sürüm 3.1.1 (1 st Kasım 2018)
Depozito git: //git.apache.org/hive.git ve svn.apache.org/repos/asf/hive
Proje durumu Aktif
Yazılmış Java
İşletim sistemi Çoklu platform
Çevre Java sanal makinesi
Tür İlişkisel veritabanı yönetim sistemi ( giriş )
Lisans Apache lisans sürümü 2.0
İnternet sitesi hive.apache.org

Apache Hive , veri sentezinin yanı sıra sözdizimsel olarak SQL'e yakın bir dille sorgulamaya, analize izin veren Hadoop'a entegre edilmiş bir veri ambarı altyapısıdır . Başlangıçta Facebook tarafından geliştirilmiş olmasına rağmen , Apache Hive artık Netflix gibi diğer şirketler tarafından kullanılıyor ve geliştiriliyor . Amazon, Amazon Web Hizmetlerinde Amazon Elastic MapReduce'u içeren bir Apache Hive çatalı bulundurur .

İşlevsellik

Apache Hive, Hadoop HDFS'de veya Amazon S3 gibi uyumlu dosya sistemlerinde depolanan büyük veri kümelerinin taranmasını destekler . Okumada şema ile HiveQL adlı SQL benzeri bir dil sağlar ve istekleri eşleme / azaltma , Apache Tez ve Spark işlerine şeffaf bir şekilde dönüştürür . Her üç yürütme motoru da Hadoop YARN üzerinde çalışabilir . Sorguları hızlandırmak için bitmap dizinleri dahil dizinler sağlar.

Varsayılan olarak, Hive meta verileri gömülü bir Apache Derby veritabanında depolar ve MySQL gibi diğer istemci / sunucu veritabanları isteğe bağlı olarak kullanılabilir.

Şu anda, Hive tarafından desteklenen dört dosya biçimi vardır: TEKSTİL DOSYASI, SIRALAMA DOSYASI, ORC ve RCFile . Apache Parquet dosyaları , 0.10'dan sonraki sürümlerde ve yerel olarak 0.13'ten sonraki sürümlerde eklenti aracılığıyla okunabilir.

Hive'ın diğer özellikleri:

Mimari

Kovan aşağıdaki unsurlardan oluşur:

HiveQL

SQL tabanlı olmasına rağmen, HiveQL SQL standardını harfiyen takip etmez. HiveQL, SQL dışı uzantılar, örneğin çoklu tablo eklemeler ve yalnızca indeksleme için temel bir teklif sağlar. Ayrıca, HiveQL, işlemler ve gerçekleştirilmiş görünümler için destekten yoksundur ve yalnızca sınırlı alt sorgu desteği sunar. Tam ACID işlevselliğiyle ekleme, güncelleme ve silme desteği 0.14 sürümüyle birlikte sunuldu.

Dahili olarak, derleyici içine HiveQL ifadeleri çevirir asiklik yönlendirilmiş grafik arasında MapReduce veya Tez veya kıvılcım iş çalıştırılmak için Hadoop'un sunulur.

Notlar ve referanslar

(fr) Bu makale kısmen veya tamamen Wikipedia makalesinden alınmıştır İngilizce başlıklı "  Apaçi Kovanı  " ( yazarların listesini görmek ) .
  1. "  https://projects.apache.org/json/projects/hive.json  " (Erişim tarihi 8 Nisan 2020 )
  2. "  http://hive.apache.org/downloads.html  "
  3. Venner, Jason (2009).
  4. Hive / Hadoop'un Örnek Olay İncelemesini Kullanın .
  5. OSCON Veri 2011, Adrian Cockcroft, "Netflix at Veri Akış" üzerine YouTube .
  6. Amazon Elastic MapReduce Geliştirici Kılavuzu .
  7. HiveQL Dil Kılavuzu .
  8. Apache Tez .
  9. Apache Hive'da İndekslemeyi Geliştirmek için Öğrencilerle Çalışma .
  10. Lam, Chuck (2010).
  11. Hadoop'u ve Büyük Veriyi Metin ve Hive ile Optimize Etme Hadoop ve Büyük Verileri Metin ve Hive ile Optimize Etme .
  12. LanguageManual ORC .
  13. Hive ve RCFile ile Hadoop'ta Daha Hızlı Büyük Veri .
  14. Facebook'un Hive ve Hadoop'u kullanan Petabyte Ölçekli Veri Ambarı .
  15. Yongqiang He, Rubao Lee, Yin Huai, Zheng Shao, Namit Jain, Xiaodong Zhang ve Zhiwei Xu. "RCFile: MapReduce Tabanlı Depo Sistemlerinde Hızlı ve Yer Açısından Verimli Bir Veri Yerleştirme Yapısı" (PDF).
  16. "Parke" . 18 Aralık 2014.
  17. Massie, Matt (21 Ağustos 2013).
  18. Beyaz, Tom (2010).
  19. Hive Dil Kılavuzu .
  20. ASİT ve Kovandaki İşlemler .
  21. MapReduce Çerçevesi Üzerinden Bir Depolama Çözümü Hive .

Ekler

Ayrıca görün

Dış bağlantılar