Bir yapay sinir ağı veya yapay sinir ağı , tasarımı başlangıçta şematik olarak biyolojik nöronların işleyişinden esinlenen ve daha sonra istatistiksel yöntemlere yaklaşan bir sistemdir .
Sinir ağları genellikle olasılıklı tipte, özellikle Bayesian öğrenme yöntemleriyle optimize edilir . Bir yandan, hızlı sınıflandırmalar ( özellikle Kohonen ağları ) oluşturmayı mümkün kılan bir dizi paradigma ile zenginleştirdikleri istatistiksel uygulamalar ailesine , diğer yandan da yapay zeka yöntemleri ailesine yerleştirilirler . uygulayıcının kendi fikirlerinden bağımsız bir algısal mekanizma sağlarlar ve resmi mantıksal akıl yürütmeye bilgi girerler (bkz. Derin Öğrenme ).
Biyolojik devreleri modellemede, nörofizyolojiden bazı fonksiyonel hipotezleri test etmeyi veya bu hipotezlerin sonuçlarını gerçeklikle karşılaştırmak için test etmeyi mümkün kılarlar.
Sinir ağları üzerine inşa edilmiştir biyolojik paradigma yüzden, biçimsel nöronun (aynı genetik algoritmalar üzerinde doğal seleksiyon ). Bu tür biyolojik metaforlar , sibernetik ve biyosibernetik fikirleriyle ortak hale geldi . Yann Le Cun'un formülüne göre , beyni bir uçak kanadından daha fazla tanımladığını iddia etmez , örneğin bir kuşunkini kopyalar . Özellikle, glial hücrelerin rolü simüle edilmez.
Nörologlar Warren McCulloch ve Walter Pitts , sinir ağları üzerine ilk çalışmayı 1950'lerin sonlarında ufuk açıcı bir makaleyle yayınladılar: Kurbağanın gözünün kurbağanın beynine söyledikleri). Daha sonra, genellikle resmi bir nöron olarak adlandırılan biyolojik bir nöronun basitleştirilmiş bir modelini oluşturdular . Basit resmi sinir ağlarının teorik olarak karmaşık mantıksal , aritmetik ve sembolik işlevleri yerine getirebileceğini gösterdiler .
Biçimsel nöron, girdilerini kesin kurallara göre çıktılara dönüştüren bir aktarım işlevine sahip bir otomat olarak düşünülür . Örneğin, bir nöron girdilerini toplar, elde edilen toplamı bir eşik değeriyle karşılaştırır ve bu toplamın bu eşikten büyük veya ona eşit olması durumunda bir sinyal yayarak yanıt verir (biyolojik bir nöronun işleyişinin ultra basitleştirilmiş modeli). Bu nöronlar ayrıca bağlantı topolojisi değişken olan ağlarda da ilişkilidir : proaktif, tekrarlayan ağlar , vb. Son olarak, bir nörondan diğerine sinyal iletiminin verimliliği değişebilir: "sinaptik ağırlıktan" bahsediyoruz ve bu ağırlıklar öğrenme kuralları ile modüle edilebilir (bu, ağların sinaptik plastisitesini taklit eder. biyolojik).
Canlı model gibi resmi sinir ağlarının bir işlevi, hızlı bir şekilde sınıflandırmalar yapmak ve bunların nasıl geliştirileceğini öğrenmektir. Geleneksel bilgisayar çözme yöntemlerinden farklı olarak , onu anlayarak adım adım bir program oluşturulmamalıdır . Bu modelin önemli parametreleri, sinaptik katsayılar ve her bir nöronun eşiği ve bunların nasıl ayarlanacağıdır. Girilen bilgilere göre ağın evrimini belirleyenler onlar. Bunları hesaplamaya ve mümkünse optimale mümkün olduğunca yakın bir sınıflandırma sağlayan bir değere yakınsamasını sağlayan bir mekanizma seçmek gerekir. Buna ağın öğrenme aşaması denir. Resmi sinir ağlarının bir modelinde, öğrenme, bu nedenle, sunulan örnekleri sınıflandırmaya en uygun sinaptik katsayıların belirlenmesi anlamına gelir.
McCulloch ve Pitts'in çalışması , sinaptik katsayıları uyarlamak için bir yöntem hakkında herhangi bir belirti vermedi. Öğrenme üzerine düşüncelerin kalbinde yer alan bu soru, ilk olarak Kanadalı fizyolog Donald Hebb'in 1949'da The Organisation of Behavior adlı kitabında açıklanan öğrenme üzerine çalışması sayesinde yanıtlandı . Hebb, sinaptik katsayıların değerini, bağlandıkları birimlerin etkinliğine göre değiştirmeyi mümkün kılan basit bir kural önerdi. Artık " Hebb kuralı " olarak bilinen bu kural , mevcut modellerde, hatta en karmaşık modellerde bile hemen hemen her yerde mevcuttur.
Bu yazıda itibaren fikri kafasında zamanla tuttu ve zihninde çimlenmiş Frank Rosenblatt içinde 1957 modeline sahip perceptron . Eğitmeni bazı hatalar yapsa bile (resmi bir mantıksal öğrenme sisteminden açıkça farklıdır) deneyimlerden öğrenebilen ilk yapay sistemdir.
In 1969 : ciddi bir darbe bilimsel topluluk etrafında sinir ağları döner üzere ele Marvin Lee Minsky ve Seymour Papert bazı perceptron teorik sınırlamaları ve daha genel vurgulayarak bir eser yayınladı doğrusal sınıflandırıcılar , özellikle tedavi imkansızlığını doğrusal olmayan veya bağlılık sorunları . Bu sınırlamaları örtük olarak tüm yapay sinir ağları modellerine genişlettiler. Bir çıkmazda gibi görünen sinir ağları üzerine araştırmalar, kamu finansmanının büyük bir bölümünü kaybetti ve sanayi sektörü de bundan uzaklaştı. Yapay zekaya ayrılan fonlar daha çok biçimsel mantığa yönlendirildi . Bununla birlikte, belirli sinir ağlarının adaptif konulardaki (örneğin Adaline ) katı nitelikleri, onların evrimsel bir şekilde, kendileri evrimsel olan fenomenleri modellemelerine izin vererek, onların adaptif sistemlerin külliyatında az ya da çok açık biçimlerde bütünleşmelerine yol açacaktır. ; telekomünikasyon veya endüstriyel proses kontrolünde kullanılır.
In 1982 , John Joseph Hopfield , tanınan fizikçi, sinir ağının yeni bir model (tamamen tekrarlayan) tanıtan bir makale yayınlayarak nöral yeniden hayat verdi. Bu makale, birkaç nedenden dolayı başarılı oldu, bunlardan başlıcası, sinir ağları teorisini fizikçilere özgü titizlikle renklendirmekti. Her ne kadar Hopfield modeli 1960'ların modellerinin ana sınırlamalarından , özellikle de doğrusal olmayan problemlerle başa çıkamamaktan muzdarip olsa da, nöral tekrar kabul edilebilir bir çalışma konusu haline geldi .
Aynı tarihte, yapay zekaya yönelik algoritmik yaklaşımlar hayal kırıklığına uğradı ve uygulamaları beklentileri karşılamadı. Bu hayal kırıklığı, yapay zeka araştırmalarının sinir ağlarına doğru yeniden yönlendirilmesini motive etti (her ne kadar bu ağlar, kesinlikle yapay zekadan daha fazla yapay algı ile ilgili olsa da ). Araştırma yeniden başlatıldı ve endüstri bazı nöronal ilgiyi yeniden kazandı (özellikle seyir füzesi güdümü gibi uygulamalar için ). Olarak 1984 (?), Gradyan geri yayılım sistemi alanında en tartışılan konusu oldu.
Daha sonra yapay sinir ağları alanında bir devrim meydana gelir: doğrusal olmayan fenomenleri başarıyla işleyebilen yeni nesil sinir ağları: çok katmanlı algılayıcı , Marvin Minsky tarafından vurgulanan kusurlara sahip değildir . İlk kez Paul Werbos tarafından önerilen çok katmanlı algılayıcı, 1986'da David Rumelhart tarafından tanıtılan ve aynı anda benzer bir adla Yann Le Cun'da ortaya çıkıyor . Bu sistemler , her biri Bernard Widrow Adaline tipinde, Rumelhart'ın algılayıcısına yakın birkaç katmana sahip sistemlerde hata gradyanının geri yayılımına dayanmaktadır.
Sinir ağları sonradan hatırı sayılır patlama yaşadığı ve getirdiği "istatistiksel regularization" teorisinin fikir gelen yararına ilk sistemlerin arasındaydı Vladimir Vapnik içinde Sovyetler Birliği ve giderek yaygınlaşan Batı yıkılmasından bu yana Sovyetler Birliği. Duvar . İstatistik alanındaki en önemlilerden biri olan bu teori, aşırı uyumla bağlantılı fenomenleri tahmin etmeyi, incelemeyi ve düzenlemeyi mümkün kılar . Böylece bir öğrenme sistemini, en iyi ihtimalle zayıf modelleme (örnek: ortalama ) ile çok az sayıda örnek üzerinde yanıltıcı bir şekilde optimize edilecek ve henüz öğrenilmemiş, hatta henüz öğrenilmemiş örnekler üzerinde çalışmayacak çok zengin modelleme arasında hakemlik yapacak şekilde düzenleyebiliriz. öğrenilmiş örneklere yakındır. Fazla uydurma, ister doğrudan optimizasyon yöntemleri (örneğin doğrusal regresyon ), yinelemeli (örneğin, gradyan algoritması ) veya yarı-doğrudan yinelemeli ( eşlenik gradyan , beklenti-maksimizasyon ...) kullansalar da, tüm örnek öğrenme sistemlerinin karşılaştığı bir zorluktur. bunlar klasik istatistiksel modellere, gizli Markov modellerine veya resmi sinir ağlarına uygulanır.
Yapay sinir ağları, modellerin parametre sayısı açısından hafifletilmesi, performans ve genelleme kapasitelerinin iyileştirilmesi için tamamen bağlantılı olmayan yeni bir ağ türü ile gelişmektedir. İlk uygulamalardan biri, LeNet-5 ağı ile ABD posta kodlarının otomatik olarak tanınmasıydı. Makine öğreniminde, bir konvolüsyonel sinir ağı veya konvolüsyonel sinir ağı (CNN veya ConvNet for Convolutional Neural Networks), nöronlar arasındaki bağlantı modelinin hayvanların görsel korteksinden ilham aldığı bir tür asiklik (ileri beslemeli) yapay sinir ağıdır. . Beynin bu bölgesindeki nöronlar, görme alanını döşerken örtüşen bölgelere karşılık gelecek şekilde düzenlenir. Çalışmaları biyolojik süreçlerden ilham alıyor, amacı küçük miktarlarda bilgiyi önceden işlemek olan çok katmanlı bir algılayıcı yığınından oluşuyor. Evrişimli sinir ağları, görüntü ve video tanıma, öneri sistemleri ve doğal dil işlemede geniş uygulamalara sahiptir.
Sinir ağları, öğrenebilen sistemler olarak, tümevarım ilkesini, yani deneyimle öğrenmeyi uygular. Spesifik durumlarla karşılaştırıldığında, genel karakteri karşılaşılan öğrenme vakalarının sayısına ve çözülecek problemin karmaşıklığıyla ilgili karmaşıklıklarına bağlı olan entegre bir karar sistemi çıkarımına varırlar. Buna karşılık, öğrenme yeteneğine sahip sembolik sistemler, eğer tümevarım uygularlarsa, bunu bir dizi tümdengelim kuralını daha karmaşık hale getirerek algoritmik mantık temelinde yaparlar ( örneğin Prolog ).
Sınıflandırma ve genelleme yetenekleri sayesinde, sinir ağları tipik olarak, posta kodlarının otomatik olarak sınıflandırılması veya fiyat hareketlerine dayalı bir hisse senedi alımı hakkında karar verilmesi gibi istatistiksel nitelikteki problemlerde kullanılır. Başka bir örnek olarak, bir banka kredi alan müşteriler hakkında gelirleri, yaşları, bağımlı çocuk sayısı… ve iyi bir müşteri olup olmadıklarından oluşan bir veri seti oluşturabilir . Bu veri seti yeterince büyükse, bir sinir ağını eğitmek için kullanılabilir. Banka daha sonra potansiyel yeni bir müşterinin özelliklerini sunabilecek ve ağ, bildiği vakalardan genelleme yaparak iyi bir müşteri olup olmayacağına cevap verecektir.
Sinir ağı gerçek sayılarla çalışıyorsa, cevap kesinlik olasılığını yansıtır. Örneğin: "İyi bir müşteri olacağından emin" için 1, "Kötü bir müşteri olacağından emin" için -1, "Fikrim yok" için 0, "İyi bir müşteri olacağından neredeyse eminim" için 0,9.
Sinir ağı her zaman bir insan tarafından kullanılabilecek bir kural sağlamaz. Ağ genellikle verilerle sunulduğunda yanıt sağlayan bir kara kutu olarak kalır, ancak ağ, yorumlanması kolay bir gerekçe sağlamaz.
Sinir ağları aslında kullanılır, örneğin:
Yapay sinir ağları, öğrenmeleri için örnek teşkil eden gerçek durumlara ihtiyaç duyar (buna öğrenme tabanı denir ). Problem karmaşık olduğu ve topolojisi çok yapılandırılmış olmadığı için bu vakaların çok daha fazla olması gerekir. Böylece, bir sinirsel karakter okuma sistemi, birçok kişi tarafından elle yazılmış çok sayıda kelimenin manuel olarak bölünmesi kullanılarak optimize edilebilir. Daha sonra her karakter, iki boyutlu bir uzaysal topolojiye sahip ham bir görüntü veya hemen hemen tüm bağlantılı segmentlerden oluşan bir dizi şeklinde sunulabilir. Tutulan topoloji, modellenen olgunun karmaşıklığı ve örneklerin sayısı birbiriyle ilişkili olmalıdır. Pratik düzeyde, bu her zaman kolay değildir, çünkü örnekler ya kesinlikle sınırlı miktarda olabilir ya da yeterli sayıda toplamak için çok pahalı olabilir.
Problemler vardır ki çalışma iyi olan sinir ağları, özellikle de sınıflandırma haline dışbükey alan (yani bu şekilde A ve B noktaları alanının parçası, parçası olduğu daha sonra bütün segman AB ise). " 1'deki (veya sıfırdaki) giriş sayısı tek mi çift mi?" gibi sorunlar »Çok kötü bir şekilde çözülür: bu tür şeyleri 2 güç N noktasında iddia etmek için, saf ama homojen bir yaklaşımdan memnunsak, sürecin genelliğine zarar veren tam olarak N-1 ara nöron katmanlarına ihtiyacımız var. .
Bir karikatür, ancak önemli bir örnek şudur: Girdi olarak yalnızca bir kişinin ağırlığına sahip olan ağ, bu kişinin bir kadın mı yoksa bir erkek mi olduğunu belirlemelidir. Kadınlar istatistiksel olarak erkeklerden biraz daha hafif olduğu için, ağ her zaman basit bir rastgele çekilişten biraz daha iyi sonuç verecektir: Bu sadeleştirilmiş örnek, bu modellerin basitliğini ve sınırlamalarını gösterir ama aynı zamanda nasıl genişletileceğini de gösterir: etek" bilgisini eklersek, basit ağırlık bilgisinden açıkça daha büyük bir sinaptik katsayıya sahip olacaktır.
Karmaşık yapay sinir ağları genellikle kendi "düşünme" biçimlerini açıklayamaz. Bir sonuçla sonuçlanan hesaplamalar, sinir ağını oluşturan programcılar tarafından görülmez. Bu nedenle, sinir ağlarının oluşturduğu kara kutuyu incelemek için bir "yapay zeka nörobilimi" yaratıldı; bu ağlar tarafından üretilen sonuçlara veya bunları kullanan yapay zekalara olan güveni artırmayı mümkün kılabilecek bir bilim.
Bir sinir ağı genellikle, her biri girdilerini bir öncekinin çıktılarından alan bir dizi katmandan oluşur. Her bir tabaka (i) N oluşur i N girdilerini alan, nöronlar , i-1 , önceki tabakanın nöronlar. Her sinapsın kendisiyle ilişkili bir sinaptik ağırlığı vardır, bu nedenle N i-1'ler bu ağırlıkla çarpılır, ardından giriş vektörünü bir dönüşüm matrisi ile çarpmaya eşdeğer olan seviye i nöronları tarafından eklenir. Bir sinir ağının farklı katmanlarını arka arkaya koymak, birkaç dönüşüm matrisinin basamaklandırılması anlamına gelir ve her katmanda yoksa, doğrusal olmayan bir çıktı işlevi sunan diğerlerinin ürünü olan tek bir matrise indirgenebilir. her adımda. Bu, iyi bir çıktı fonksiyonunun akıllıca seçilmesinin önemini göstermektedir: çıktıları doğrusal olacak bir sinir ağının hiçbir ilgisi olmayacaktır.
Bu basit yapının ötesinde, sinir ağı, olasılıkları ve aynı zamanda karmaşıklığı kökten değiştiren döngüler de içerebilir. Döngüler dönüştürmek gibi kombinasyon mantık içine ardışık devreler , bir sinir ağı içinde döngüler davranışları her türlü sahip olan karmaşık bir makinenin içine basit bir giriş tanıma cihazına transforme.
Herhangi bir nöronu düşünün.
Sinaptik bağlantıları aracılığıyla yukarı akış nöronlarından bir takım değerler alır ve bir kombinasyon işlevi kullanarak belirli bir değer üretir . Bu nedenle, bu fonksiyon , özellikle bir -to- skaler vektör fonksiyonu olarak formüle edilebilir :
Aktivasyon fonksiyonu (veya eşikleme fonksiyonu , hatta transfer fonksiyonu ) nöron işleyişi bir doğrusalsızlık sokmak için kullanılır.
Eşik fonksiyonlarının genellikle üç aralığı vardır:
Aktivasyon fonksiyonlarının tipik örnekleri şunlardır:
Cox-Jaynes teoreminin öğrenme sorularını formüle ettiği Bayes mantığı, aynı zamanda S'de tekrar tekrar ortaya çıkan bir fonksiyon içerir:
Bu hesaplama yapıldıktan sonra, nöron yeni iç durumunu aksonu üzerinde yayar. Basit bir modelde, nöral fonksiyon basitçe bir eşikleme fonksiyonudur: ağırlıklı toplam belirli bir eşiği aşarsa 1'e eşittir; 0 aksi halde. Daha zengin bir modelde, nöron gerçek sayılarla çalışır (genellikle [0.1] veya [-1.1] aralığında). Tüm nöronları kendi girdilerine göre paralel olarak iç durumlarını yeniden hesapladığında, sinir ağının bir durumdan diğerine geçtiğini söylüyoruz.
Öğrenme kavramı, Sümer'den beri bilinmesine rağmen , tümdengelim mantığı çerçevesinde modellenemez : bu, aslında, türetilmiş bilginin çıkarıldığı önceden kurulmuş bilgiden kaynaklanır. Ancak, bu tam tersi bir süreçtir: sınırlı gözlemlerle, makul genellemeler yaparak: tümevarım yoluyla bir süreçtir .
Öğrenme kavramı, genellikle ardışık olarak ele alınan iki gerçekliği kapsar:
Klasik istatistiksel modelleri, sinir ağlarını ve Markovian otomatlarını optimize etmek için kullanılan istatistiksel öğrenme sistemleri söz konusu olduğunda, tüm dikkatin nesnesi genellemedir.
Bu genelleme kavramı, birkaç teorik yaklaşımla aşağı yukarı tamamen ele alınır.
Ağın yapısına bağlı olarak, sinir ağları sayesinde farklı işlev türlerine yaklaşılabilir:
Bir algılayıcı tarafından temsil edilebilen fonksiyonlarBir algılayıcı (tek birimli bir ağ) aşağıdaki Boole işlevlerini temsil edebilir: ve, veya, nand, ne de xor değil. Herhangi bir Boole işlevi bu işlevler kullanılarak temsil edilebildiğinden, bir algılayıcı ağı tüm Boole işlevlerini temsil edebilir. Gerçekten de işlevlerin ve ne de evrensel olduğu söylenir: bu işlevlerden birini birleştirerek diğerlerini temsil edebiliriz.
Döngüsel olmayan çok katmanlı sinir ağları tarafından temsil edilebilen fonksiyonlarSinir ağlarının büyük çoğunluğu, ağın girişinde sunulan bir dizi veriye göre sinaptik ağırlıkların değiştirilmesinden oluşan bir “eğitim” algoritmasına sahiptir. Bu eğitimin amacı, sinir ağının örneklerden "öğrenmesini" sağlamaktır. Eğitim doğru yapılırsa ağ, eğitim veri setinin orijinal değerlerine çok yakın çıktı yanıtları verebilmektedir. Ancak sinir ağlarının tüm amacı , test setinden genelleme yapma yeteneklerinde yatmaktadır . Bu nedenle, bir bellek üretmek için bir sinir ağı kullanmak mümkündür; o zaman nöronal hafızadan söz ederiz .
Topolojik görünüşüdür , bir öğrenme belirlenmesi tekabül hiperyüzey üzerinde nerede olduğu gerçek sayılar kümesinin ve ağın giriş sayısı.
Ağ kesin bir son duruma doğru yaklaşmaya zorlandığında, aynı zamanda kendisine bir model sunulurken bir öğrenmenin denetlendiği söylenir .
Tersine, denetimsiz öğrenme sırasında, ağ kendisine bir model sunulduğunda herhangi bir son duruma yakınsamak için serbest bırakılır.
Aşırı uyum göstermeGenellikle, öğrenme tabanı örneklerinin yaklaşık veya gürültülü değerler içerdiği görülür. Ağı bu örneklere neredeyse mükemmel bir şekilde yanıt vermeye zorlarsak, hatalı değerlerle önyargılı bir ağ elde edebiliriz.
Örneğin, bir denklem doğrusu üzerinde bulunan ağ çiftlerini sunduğumuzu , ancak noktaların tam olarak doğru üzerinde olmaması için gürültülü olduğunu hayal edin . İyi bir öğrenme varsa, ağ sunulan herhangi bir değere yanıt verir . Aşırı uyum varsa , ağ biraz daha fazla veya biraz daha az yanıt verir , çünkü sağın dışında konumlandırılan her çift kararı etkileyecektir: ek olarak arzu edilmeyen gürültüyü öğrenmiş olacaktır.
Fazla uydurmayı önlemek için basit bir yöntem vardır: Örneklerin tabanını 2 alt kümeye bölmek yeterlidir. Birincisi öğrenme, ikincisi ise öğrenmenin değerlendirilmesi içindir. İkinci sette elde edilen hata azaldığı sürece öğrenmeye devam edebiliriz, yoksa dururuz.
Geri yayılım bir nöronun sinaps ve buna bağlı nöronların hata rétropropager etmektir. Sinir ağları için, genellikle , bu hataların gerçekleşmesine tam olarak katılan öğelerin önemine göre hataların düzeltilmesinden oluşan hata gradyanının geri yayılımını kullanırız : bir hata oluşturmaya katkıda bulunan sinaptik ağırlıklar. marjinal bir hata oluşturan ağırlıklardan daha önemli bir şekilde değiştirilir.
Budama ( budama , İngilizce), modelin karmaşıklığını sınırlarken aşırı eğitimden kaçınan bir yöntemdir . Öğrenme tamamlandıktan sonra ağdan bağlantıları (veya sinapsları), girdileri veya nöronları kaldırmaktan oluşur. Pratikte, ağ çıkış hatası üzerinde en küçük etkiye sahip olan unsurlar bastırılır. Budama algoritmalarına iki örnek:
Sinaptik bağlantıların ağırlıkları seti, sinir ağının işleyişini belirler. Modeller, sinir ağının bir alt kümesine sunulur: giriş katmanı. Bir ağa bir desen uygulandığında, kararlı bir duruma ulaşmaya çalışır. Ulaşıldığında çıktı nöronlarının aktivasyon değerleri sonucu oluşturmaktadır. Ne giriş katmanının ne de çıkış katmanının parçası olmayan nöronlara gizli nöronlar denir .
Sinir ağı türleri birkaç parametrede farklılık gösterir:
Bu sinir ağlarının eğitimi çerçevesinde başka birçok parametrenin uygulanması muhtemeldir, örneğin:
ADALINE ağı perceptron modeline yakındır , lineer bir fonksiyon kullandığından sadece aktivasyon fonksiyonu farklıdır. Girişte alınan paraziti azaltmak için ADALINE ağları en küçük kareler yöntemini kullanır .
Ağ, girdi değerlerinin ağırlıklı bir toplamını gerçekleştirir ve bunlara önceden tanımlanmış bir eşik değeri ekler. Lineer transfer fonksiyonu daha sonra nöronun aktivasyonu için kullanılır. Öğrenirken, farklı girdilerin sinaptik katsayıları Widrow-Hoff (in) yasası kullanılarak değiştirilir . Bu ağlar genellikle sinyal işlemede, özellikle gürültü azaltmada kullanılır.
Cauchy makinesiBir Cauchy makinesi, Boltzmann makinesinin işleyişine oldukça benzeyen bir yapay sinir ağıdır . Ancak, kullanılan olasılık yasaları aynı değildir.
ayrıntılı değilBu tür denetimsiz öğrenmede, nöronlar aktif olmak için rekabet eder. İkili çıktılar ve çıktıları 1 olduğunda aktif olduklarını söylüyoruz. Diğer kurallarda birkaç nöral çıktı aynı anda aktif olabilirken, rekabetçi öğrenme durumunda, bir anda sadece bir nöron aktiftir. Her çıkış nöronu, bir dizi benzer şekli "algılamak" için özelleştirilir ve ardından bir özellik detektörü haline gelir. Giriş işlevi, bu durumda, içinde , ve eşik, sinaptik ağırlıklar ve girişler vektörler sırasıyla. Kazanan nöron, h'nin maksimum olduğu nörondur, bu nedenle eşikler aynıysa, ağırlıkları girdilere en yakın olanıdır. Maksimum çıktıya sahip nöron kazanan olacak ve çıktısı 1'e ayarlanacak, kaybedenler ise çıktılarını 0'a ayarlayacak. Bir nöron, ağırlıklarını arttırmak için onu aktive eden girdilerin değerlerine taşıyarak öğrenir. kazanma şansı. Bir nöron bir girdiye yanıt vermezse, ağırlık ayarlaması yapılmaz. Bir nöron kazanırsa, tüm girdilerin ağırlıklarının bir kısmı, aktif girdilerin ağırlıklarına yeniden dağıtılır. Kuralın uygulanması aşağıdaki sonuçları verir (Grossberg):
Bu kural, sinaptik ağırlık vektörünü girdi şekline yaklaştırma etkisine sahiptir .
Örnek: İki sınıfa ayırmak istediğimiz düzlemin iki nokta bulutunu ele alalım. ve iki girdidir ve bir nokta 'nöron 1'in ağırlığı' olarak kabul edilebilecek nöron 1'in ağırlıklarıdır ve ve nöron 2'nin ağırlıklarıdır. Eşikler sıfır ise, hi arasındaki mesafe olacaktır. sınıflandırılacak noktalar ve ağırlık noktaları. Önceki kural, nöron kazandığında örnek noktasından bu mesafeyi azaltma eğilimindedir. Bu nedenle, her ağırlık noktasının kendisini bir bulutun ortasında konumlandırmasına izin vermelidir. Ağırlıkları başlangıçta rastgele ayarlarsak, nöronlardan biri iki bulutun yakınında, diğeri ise asla kazanamayacak şekilde uzakta konumlandırılmış olabilir. Diğer nöronun ağırlıkları onu iki bulutun ortasına yerleştirirken, ağırlıkları asla evrimleşemeyecek. Ölü olarak nitelendirdiğimiz bu nöronların sorunu eşiklerde oynayarak çözülebilir. Gerçekten de, kazanmaya başlamaları için bu nöronların eşiğini artırmak yeterlidir.
Uygulamalar: Bu ağ türü ve ilgili öğrenme yöntemi, belirli veriler arasındaki benzerlikleri vurgulamak için veri analizinde kullanılabilir.
Bir model olan sinir ağları genellikle yazılım simülasyonu bağlamında kullanılır. IMSL ve Matlab bu nedenle sinir ağlarına ayrılmış kütüphanelere sahiptir. Ancak, ZISC yongası gibi daha basit modellerin birkaç donanım uygulaması vardır .