Sinir ağı hızlandırma çipi

Bir AI Hızlandırıcı için yapay zeka hızlandırıcı (veya NPU , İngilizce  : Sinir İşleme Birimi ) bir sınıftır mikroişlemci için tasarlanmış veya hesaplama sistemleri kadar hız bir yapay sinir ağına , algoritmalar hızlandırmak endüstriyel vizyon ve otomatik öğrenme için robotik , şeylerin internet ve diğer computation- yoğun görevler veya sensör kontrolü. Bunlar genellikle çok çekirdekli tasarımlardır ve genellikle düşük hassasiyetli aritmetik , yeni veri akışı mimarileri veya bellek içi hesaplama kapasitesine odaklanır . Bu sayfada belirli cihazlar için satıcıya özel birkaç terim vardır.

AI hızlandırma çiplerinin tarihi

Bilgisayar sistemleri genellikle CPU'yu , grafikler için video kartları ( GPU'lar ) ve ayrıca ses için ses kartları vb. dahil olmak üzere özel görevler için özel hızlandırıcılarla destekledi . Gibi makine öğrenme ve yapay zeka kazandığı ivme, uzman donanım birimleri geliştirilmiştir veya bu görevleri hızlandırmak için önceki ürünlerden uyarlanmış.

ilk denemeler

1993'te DSP'ler , örneğin optik karakter tanıma yazılımını hızlandırmak için sinir ağı hızlandırıcıları olarak kullanıldı . 1990'larda, sinir ağı simülasyonları da dahil olmak üzere çeşitli uygulamalar için iş istasyonları için yüksek verimli paralel sistemler oluşturma girişimleri de yapıldı. FPGA tabanlı hızlandırıcılar da ilk olarak 1990'larda çıkarım yapmak ve ANNA'nın Yann LeCun tarafından geliştirilen bir CMOS sinir ağı hızlandırıcısı olduğunu öğrenmek için keşfedildi .

heterojen hesap

Heterojen bilgisayar tek bir sistem uzmanlaşmış işlemci bir dizi dahil veya tek bir çip, bir görev belirli bir tip için optimize ile başladı. Hücre mikroişlemcisi (işlemci) gibi mimariler, aşağıdakiler dahil, AI hızlandırıcılarıyla önemli ölçüde örtüşen özelliklere sahiptir: düşük hassasiyetli aritmetik desteği, veri akışı mimarisi ve gecikme yerine "iş hacmine" verilen öncelik. Hücre mikroişlemcisi daha sonra AI dahil olmak üzere bir dizi göreve uygulandı.

CPU'lar kendilerini de kazanmış büyük ve daha büyük SIMD birimleri düşük duyarlıklı veri türleri için (ağır görev ve oyun oynamak için kullanılır) ve destek.

GPU'ları kullanma

Grafik işlemcileri veya GPU'lar resim işleme için donanım uzman bulunmaktadır. Yapay sinir ağlarının ve görüntü işlemenin matematiksel temeli benzer olduğundan, matrisleri içeren karmaşık paralel görevler için GPU'lar makine öğrenimi görevleri için giderek daha fazla kullanılır hale geldi. Bu nedenle, 2016 itibariyle GPU'lar yapay zekayı öğrenmek için popüler hale geldi ve otonom araçlar gibi cihazlarda hem öğrenme hem de çıkarım için derin öğrenmeyi kolaylaştıracak bir yönde gelişmeye devam ediyor . - ve AI'nın yararlandığı veri akışı iş yükleri türü için ek bağlantı yeteneği kazanma (örneğin Nvidia NVLink ). GPU'lar yapay zekayı hızlandırmak için gittikçe daha fazla uygulandığından, GPU üreticileri bu görevleri daha da hızlandırmak için sinir ağlarına özel donanımlar dahil ettiler. Tensör çekirdekleri, sinir ağlarının eğitimini hızlandırmayı amaçlar. 26] [26] Tensör çekirdekleri, sinir ağlarının eğitimini hızlandırmayı amaçlar.

FPGA'ların Kullanımı

Çerçeveler öğrenme derinlik hala zor özel donanım tasarımı yapma, sürekli olarak geliştirilmektedir. Alanda programlanabilir kapı dizileri (FPGA'lar) gibi yeniden yapılandırılabilir cihazlar , donanımın, çerçevelerin ve bunların içindeki yazılımların gelişimini kolaylaştırır.

Microsoft, çıkarımı hızlandırmak için FPGA yongalarını kullandı . FPGA'ların AI hızlandırmaya uygulanması, Intel'i FPGA'ları sunucu CPU'larına entegre etme hedefiyle Altera'yı satın almaya motive etti ; bu, AI'yı ve genel görevleri hızlandırabilecektir.

Yapay zekayı hızlandırmaya adanmış ASIC'lerin ortaya çıkışı

GPU'lar ve FPGA'lar, AI ile ilgili bu görevler için CPU'lardan daha iyi performans gösterirken, " Uygulamaya özel entegre devre " (ASIC) aracılığıyla daha spesifik bir tasarımla 10'luk bir verimlilik faktörü elde edilebilir . . Bu, bellek kullanımındaki farklılıkları ve daha düşük kesinlikli sayıların kullanımını içerir.

isimlendirme

2016 itibariyle, alan hala hareket halinde ve satıcılar, tasarımlarının ve API'lerinin hakim olacağı umuduyla, bir "AI hızlandırıcı" anlamına gelen kendi pazarlama terimlerini zorluyor . Bu aygıtlar arasındaki sınır veya alacakları kesin biçim konusunda bir fikir birliği yoktur, ancak birkaç örnek açıkça bu yeni alanı belirli bir kapasite örtüşmesiyle doldurmayı amaçlamaktadır.

Geçmişte, ana akım grafik hızlandırıcılar ortaya çıktığında, endüstri sonunda Nvidia'nın kendi kendine atfettiği "GPU" terimini , ortaya çıkmadan önce birçok biçim almış olan "grafik hızlandırıcıları" için toplu bir isim olarak benimsedi . Direct3D tarafından sunulan bir modelin uygulanması .

Örnekler

Bireysel ürünler

GPU tabanlı ürünler

AI için optimize edilmiş yardımcı işlemciler

Çok işlevli hızlandırıcı

Hindistan Bilgi Teknolojileri Enstitüsü'nün (IIIT) Yenilik Mühendisliği ve Girişimcilik İnkübatörü Merkezi'nin himayesi altında Manjeera Digital Systems tarafından geliştirilen ve üretilen Evrensel Çok İşlevli Hızlandırıcı (UMA), Hyderabad, tescilli herhangi bir uygulamayı hesaplamada hızlandırmada devrim niteliğinde bir yeniliktir. Orta Katman işlemlerine dayalı mimari.

Araştırma ve pazarlanmayan ürünler

Potansiyel uygulamalar

Şuna da bakın:

Referanslar

  1. "  'Görüş işleme' için tasarlanmış bir USB dongle olan Intel Movidius  " .
  2. “  Inspurs, GX4 AI Accelerator'ı tanıttı  ” .
  3. "  google yapay zeka işlemcileri geliştiriyor  " google kendi yapay zeka hızlandırıcılarını kullanıyor.
  4. " Bellekte İşleme ve Sinir Ağları için ReRAM Tabanlı Mimarilere İlişkin Bir Araştırma ", S. Mittal, Machine Learning and Knowledge Extraction, 2018
  5. "  1993'ten DSP32 hızlandırıcı içeren evrişimli sinir ağı demosu  " .
  6. "  bağlantıcı bir ağ süper bilgisayarının tasarımı  " .
  7. "  Genel amaçlı bilgisayarların sonu (değil)  " Bu sunum, sinir ağı hızlandırıcılarında geçmişteki bir girişimi kapsar, modern SLI GPGPU işlemci kurulumuna benzerliği not eder ve genel amaçlı vektör hızlandırıcıların ileriye giden yol olduğunu savunur (RISC ile ilgili olarak) -V hwacha projesi. NN'lerin sadece yoğun ve seyrek matrisler olduğunu, birkaç yinelenen algoritmadan biri olduğunu iddia eder)
  8. “  SYNAPSE-1: yüksek hızlı genel amaçlı paralel nörobilgisayar sistemi  ” .
  9. “  Uzayda Verimli Sinir Ağı Uygulaması  ” .
  10. “  Çip Üzerinde Öğrenme ile Hopfield Sinir Ağları için Genel Bir Yapı Taşı  ” .
  11. ANNA Sinir Ağı Çipinin Yüksek Hızlı Karakter Tanımaya Uygulanması
  12. “  Hücrenin Çok Çekirdekli Mimarisinde Sinerjik İşleme  ” .
  13. “  Biyomoleküler simülasyonlar için Hücre işlemcisinin performansı  ” .
  14. “  Hücre mimarisinde Video İşleme ve Alma  ” .
  15. “  Hücre İşlemcisinde Işın İzleme  ” .
  16. “  Obez bireylerde başarılı bir kilo kaybını öngörmek için heterojen çok çekirdekli mimari üzerinde yapay sinir ağının geliştirilmesi  ” .
  17. “  Hücre Geniş Bant Motor Mimarisi için Ölçek Değişmeyen Anahtar Nokta Tespit Algoritmasının Paralelizasyonu  ” .
  18. “  Hücre Geniş Bant Motorunda Veri Madenciliği Algoritmaları  ” .
  19. "  AVX ile video performansının iyileştirilmesi  " .
  20. “  microsoft araştırma / piksel gölgelendiriciler / MNIST  ” .
  21. "  genel hesaplama için gpu nasıl kullanılmaya başlandı  " .
  22. "  derin evrişimli sinir ağları ile imagenet sınıflandırması  " .
  23. “  nvidia derin öğrenmenin gelişimini yönlendiriyor  ” .
  24. “  nvidia, kendi kendini süren arabalar için süper bilgisayarı tanıtıyor  ” .
  25. "  nvlink, daha hızlı, daha kolay çoklu GPU hesaplamayı nasıl sağlayacak  " .
  26. Mark Harris , "  CUDA 9 Özellikleri Açıklandı: Volta, Kooperatif Grupları ve Daha Fazlası  " ,11 Mayıs 2017( 12 Ağustos 2017'de erişildi ) .
  27. “  FPGA Tabanlı Derin Öğrenme Hızlandırıcılar ASIC'lerde Take on  ” üzerine, sonraki Platformu ,23 Ağu 2016( 7 Eylül 2016'da erişildi ) .
  28. “  microsoft, fpga erişimini bing'den derin öğrenmeye genişletiyor  ” .
  29. “  Özel Donanım Kullanarak Derin Evrişimli Sinir Ağlarını Hızlandırma  ” .
  30. "  Google, Tensör İşleme Birimi ile makine öğrenimini güçlendiriyor  " ,19 Mayıs 2016( 13 Eylül 2016'da erişildi ) .
  31. "  Chip, derin öğrenmeyi mobil cihazlara getirebilir  " , www.sciencedaily.com'da ,3 Şubat 2016( 13 Eylül 2016'da erişildi ) .
  32. “  Sınırlı Sayısal Hassasiyetle Derin Öğrenme  ” .
  33. (in) Mohammad Rastegari, Vicente Ordonez, Joseph Redmon ve Ali Farhadi "  İkili Evrişimli Sinir Ağlarını Kullanarak XNOR-Net IMAGEnet Sınıflandırması  "2016. .
  34. "  NVIDIA Dünyanın İlk Grafik İşlem Birimi olan GeForce 256'yı piyasaya sürüyor  " .
  35. Jeff Kampman , “  Intel, derin öğrenme için amaca yönelik Yapay Sinir Ağı İşlemcisini tanıttı  ” Tech Report ,17 Ekim 2017( çevrimiçi okuyun , 18 Ekim 2017'de danışıldı ).
  36. (in) "  Intel Nervana Sinir Ağı İşlemciler (NNP) Redefine AI Silisyum  " üzerine intel.com ,17 Ekim 2017( 20 Ekim 2017'de erişildi ) .
  37. "  EyeQ'nun Evrimi  " .
  38. "  Nvidia, Volta ile AI için GPU'nun ötesine geçiyor  " .
  39. "  nvidia dgx-1  " .
  40. Ryan Smith , “  AMD Radeon Instinct: GPU Hızlandırıcıları Derin Öğrenme için Duyurdu , 2017'de Geliyor  ”, Anandtech ,12 Aralık 2016( çevrimiçi okuyun , 12 Aralık 2016'da danışıldı ).
  41. "  En yüksek performanslı sinir ağı çıkarım hızlandırıcısı  " .
  42. (içinde) James Vincent , "  iPhone'un yeni X sinir motoru, Apple'ın IA yaklaşımını örneklendirdi  " , The Verge ,13 Eylül 2017( çevrimiçi okuyun , 23 Eylül 2017'de danışıldı ).
  43. “  Cadence, Otomotiv, Gözetim, Drone ve Mobil Pazarlar için Endüstrinin İlk Sinir Ağı DSP IP'sini Tanıtıyor  ” .
  44. “  HUAWEI, IFA 2017'de Mobil Yapay Zekanın Geleceğini Açıklıyor  ” .
  45. “  Uçta Derin Öğrenme için Yapay Zeka İşlemci Ailesi  ” .
  46. (in) Brian Benchoff, "  Yeni Gün Bölüm: Sinir Ağları-yılında oluşturulmuştur ile RISC V Chip  " üzerinde Hack a Day ,8 Ekim 2018
  47. UMA Manjeera Dijital Sistemi , “  Evrensel Fonksiyonlu  Hızlandırıcı, ” at Manjeera Sayısal Sistemler (erişilen 28 Haziran 2018 ) .
  48. Evrensel Fonksiyonlu Hızlandırıcı Manjeera Dijital Sistemler , “  devrim  İşleme, ” üzerinde Hint Express (erişilen Haziran 28, 2018 ) .
  49. UMA AI Çip , "  Haydarabad dan AI Çip  ," Telangana Bugün , n o  News Kağıt,10 Mayıs 2018( çevrimiçi okuyun , 28 Haziran 2018'de danışıldı ).
  50. Lambert, Fred, "  Elon Musk, Tesla'nın Jim Keller liderliğindeki kendi yeni AI çipi üzerinde çalıştığını doğruladı  " ,8 Aralık 2017.
  51. Chen, Yu-Hsin, Krishna, Tushar, Emer, Joel ve Sze, Vivienne, “  Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep Convolutional Neural Networks  ” , IEEE International Solid-State Circuits Conference, ISSCC 2016, Digest of Technical Papers ,2016, s.  262-263.
  52. Aimar, Alessandro ve diğerleri, “  NullHop: Özellik Haritalarının Seyrek Temsillerine Dayalı Esnek Bir Evrişimli Sinir Ağı Hızlandırıcısı  ” .
  53. "  Synthara Teknolojileri  " .
  54. “  kalray MPPA  ” .
  55. “  Graphcore Teknolojisi  ” .
  56. “  Wave Computing'in DPU mimarisi  ” .
  57. “  Akıllı Gömülü Sistemler için FD-SOI 28nm'de 2.9 TOPS/W Derin Evrişimli Sinir Ağı SoC'si  ” .
  58. "  NM500, 576 nöronlu Nöromorfik çip  " .
  59. "  yann lecun on IBM truenorth  " , ani hızlanan nöronların hiçbir zaman üstün kaliteli sonuçlar üretmediğini ve 8-16 bit hassasiyetinin optimal olduğunu savunuyor, rakip 'neuflow' tasarımını zorluyor
  60. "  IBM, nöromorfik hesaplamada yeni bir çığır açıyor  "  : "TrueNorth inanılmaz derecede verimli: Çip, maksimum yükte yalnızca 72 miliwatt tüketiyor, bu da watt başına saniyede yaklaşık 400 milyar sinaptik işleme eşittir - veya modern bir bilgisayardan yaklaşık 176.000 kat daha verimli Aynı beyin benzeri iş yükünü çalıştıran CPU veya diğer son teknoloji ürünü nöromorfik yaklaşımlardan 769 kat daha verimli” .
  61. “  Intel'in Yeni Kendi Kendine Öğrenen Çipi, Yapay Zekayı Hızlandırmayı Vaat Ediyor  ” .
  62. “  Beyin Çip Hızlandırıcı  ” .
  63. “  - Shakti hedefler sunucular, Iot, analitik Hindistan RISC V İşlemciler preps  ”  : “Shakti projesi artık mikroişlemci ilişkili kumaşlar ve bir hızlandırıcı çip yanı sıra tasarımları en az altı için planlar içeren” .
  64. “  AlphaIC'ler  ” .
  65. "  sürücü px  " .
  66. “  Kaleci - yakın silah sistemi  ” .
  67. "  yabani ot kontrolü için bir yapay görme sisteminin tasarımı  " .
  68. “  qualcomm araştırması, sunucu sınıfı makine öğrenimini her veri cihazına getiriyor  ” .
  69. “  google asistanı  ” .
  70. “  Derin Öğrenme  ” .
  71. "  movidius dünyanın en akıllı drone'una güç veriyor  " .
  72. "  Lyon hastanelerine yardımcı olacak yapay zeka  " .

Dış bağlantılar