Otomatik konuşma tanıma

Otomatik konuşma tanıma (genellikle yanlış olarak adlandırılan ses tanıma ) bir olduğu teknik bilgisayar analizleri insan sesi bir tarafından yakalanan mikrofon bir şeklinde bunu yazıya metin tarafından okunabilir makineleri .

Konuşma tanımanın yanı sıra konuşma sentezi , konuşmacı tanımlama veya konuşmacı doğrulama, konuşma işleme tekniklerinden bazılarıdır . Bu teknikler, özellikle etkileşimin bir kısmının sesle yapıldığı insan-makine arayüzleri (HMI) üretmeyi mümkün kılar : " ses arayüzleri ".

Birçok uygulama arasında, zorluğun kelime haznesi boyutunda ve cümlelerin uzunluğunda olduğu bir bilgisayarda ses dikte uygulamalarının yanı sıra , zorluğun daha çok olduğu interaktif ses sunucusu türünün telefon uygulamalarını da sayabiliriz. Değişken ve genellikle gürültülü akustik koşullarda herhangi bir sesi tanımak gerekir (halka açık yerlerde cep telefonları).

Gelen Konuşma ve İnsan-Makine arasında önemli bir fark olduğu Diyalog W. Minker ve S. Bennacef, o otomatik konuşma tanıma karmaşık bir alandır açıklamak resmi dili anlaşılması ve makineler tarafından kullanılır, ve doğal dil kullanımını insanlarda, . Biçimsel dil, katı sözdizimsel kurallarla ve belirsizlik olmadan yapılandırılmıştır . Tersine, doğal dilde, sözcükler veya cümleler, örneğin konuşmacının tonlamasına veya bağlama bağlı olarak birkaç anlama sahip olabilir .

Araştırma alanı

Konuşma tanıma, bilimin birçok alanına bağlanabilir: otomatik dil işleme , dilbilim , bilgi teorisi , sinyal işleme , sinir ağları , yapay zeka vb.

Tarihi

Erken gelen ses tanıma üzerindeki çalışmalar XX inci yüzyılın. Konuşma tanıma olarak düşünülebilecek ilk sistem 1952 yılına dayanmaktadır.

Davis, Biddulph ve Balashek tarafından Bell Labs laboratuvarlarında geliştirilen bu elektronik sistem esas olarak rölelerden oluşuyordu ve performansı tek basamakları tanımakla sınırlıydı (referansa bakın). Araştırma daha sonra çalışma ile 1970'lerde önemli ölçüde artmıştır Jelinek de IBM (1972-1993). Threshold Technologies şirketi ilk olarak 1972'de 32 kelime kapasiteli bir tanıma sistemi olan VIP100'ü piyasaya sürdü . Günümüzde konuşma tanıma, yerleşik sistemlerdeki artış sayesinde hızla büyüyen bir alandır . Hızlı evrim:

1952: 10 hanenin kablolu bir elektronik cihazla tanınması.

1960: sayısal yöntemlerin kullanımı.

1965: sürekli konuşmada fonemlerin tanınması.

1968: ana bilgisayarlara kurulan sistemler tarafından izole edilmiş kelimelerin tanınması (500 kelimeye kadar).

1970: Leonard E. Baum, konuşma tanımada yaygın olarak kullanılan gizli Markov modelini geliştirdi.

1971: Makul kısıtlamalar altında otomatik sürekli konuşma anlayışının fizibilitesini test etmek için Amerika Birleşik Devletleri'nde ARPA projesinin başlatılması (15 milyon $).

1972: Piyasadaki ilk kelime tanıma cihazı.

1978: baskılı devre kartı üzerinde bir mikroişlemci tanıma sisteminin pazarlanması.

1983: Fransa'da bir savaş uçağında ses kontrolünün dünya prömiyeri.

1985: birkaç bin kelimelik ilk tanıma sistemlerinin pazarlanması.

1986: Gerçek zamanlı makine çevirisi ile Japon ATR telefon projesinin lansmanı.

1993: Esprit projesi SUNDIAL.

1997: Dragon şirketi , ilk ses dikte yazılımı olan " NaturallySpeaking " i piyasaya sürdü.

2008: Google, ses tanıma özelliği uygulayan bir İnternet arama uygulamasını başlattı

2011: Apple , telefonlarında Siri uygulamasını sunuyor .

2017: Microsoft, insan konuşma tanıma performansıyla eşleşeceğini duyurdu.

Temel prensipler

Adımlar

Otomatik Konuşma Tanıma (RAP) programına kaydedilmiş ve sayısallaştırılmış bir cümle verilir. YYEP formalizminde ( İngilizce ASR ), fonksiyonel döküm aşağıdaki gibidir:

Akustik işleme ( İngilizce ön uç ) temel olarak ses sinyalinden 10 ms'lik bir adımla 20 ila 30 ms'lik sinyal dilimlerine karşılık gelen akustik vektörler biçiminde kompakt bir akustik görüntü çıkarmayı mümkün kılar ( Hamming pencereleme tekniği ) . Sinyal, Fourier dönüşümü (örneğin MFCC, Mel-Frequency Cepstral Katsayıları) kullanılarak bir frekans analizi tekniği ile sayısallaştırılır ve parametrelendirilir .

Makine öğrenme konuşma ve sözcük elemanların temel kısımlar arasında bir ilişki gönderir. Bu ilişki, diğerlerinin yanı sıra, gizli Markov modelleri (HMM, Gizli Markov Modelleri) ve / veya yapay sinir ağları (YSA, Yapay Sinir Ağları) ile istatistiksel modelleme gerektirir .

Önceden öğrenilen temel modelleri birleştirerek kod çözme, en olası söylemi yeniden oluşturur. Bu nedenle, genellikle dinamik zaman atlama algoritması (İngilizce DTW) tarafından gerçekleştirilen bir zamansal desen eşleştirmesidir .

Teknik malzeme

Bir GDD sistemindeki belgesel prodüksiyon, bir ses kaydından ( dijital dikte ) başlar. Bu, sesin dijital ortamda kaydedilmesi ve eski haline getirilmesi meselesidir. Kayıt, farklı kayıt kanallarından yapılabilir: mikrofonlar , diktafonlar , akıllı telefonlar ...

Sekreterliğe yazmak veya doğrulamak için iade, hoparlörler veya kulaklıklar kullanılarak yapılır .

Modeller

Böyle bir sistem üç ana modele dayanmaktadır:

dil modeli: bu model , hedef dildeki her kelime dizisinin olasılığını verir ; $P (W)$ $W$
telaffuz modeli: bu model her kelime dizisi için olasılıklarıyla birlikte olası telaffuzları verir ; $W$ $H$ $P (H | W)$
akustik-fonetik model: Bu model, belirli bir kelime dizisinin olası bir telaffuzu verildiğinde , akustik vektörlerin gözlemlenen dizisinin olasılığını tahmin eder . $P (X | H)$ $X$ $H$

Bu üç modelin kombinasyonu, gözlemlenen bir konuşma sinyali verilen herhangi bir kelime dizisinin olasılığını hesaplamayı mümkün kılar. Konuşma tanıma, en yüksek olasılığa sahip sözcük dizisini bulmayı içerir. Biçimsel olarak sorunun çözümü , aşağıdaki matematiksel ifadeyi maksimize eden kelimelerin bir sonucudur . $W$ $\ textstyle P (W) \ toplamı _ {H} P (H | W) P (X | H)$

Bu modelleri bir uygulama için kalibre etmek için büyük miktarda açıklamalı külliyat kullanmak gerekir. Külliyat, hedeflenen sistemin kullanım koşullarına uygun olmalıdır.

Sınıflandırma

Konuşma tanıma sistemleri birkaç eksende sınıflandırılabilir:

sinyal türü: gürültülü sinyal veya gürültülü olmayan sinyal (örneğin: gürültü azaltmalı kulaklık mikrofonu), telefon sinyali (sabit hat veya cep telefonu) veya geniş bant, sinyal sıkıştırılmış veya sıkıştırılmamış vb.
akustik modelin türü: tek hoparlörlü model ( örneğin: ses dikte), çoklu hoparlör modeli ( İngilizce'de konuşmacıdan bağımsız );
kayıtların doğası: metin dikte etme, sesli komut, insan-makine diyaloğu, telefon mesajı, radyo, TV, podcast vb. ;
dil.

Sözcük dağarcığının boyutu ve dil modelinin karmaşıklığı, sesli komutlar için birkaç düzine kelimeden Fransızca veya Fransızca gibi bir dili kapsayacak şekilde birkaç yüz bin kelimeye kadar işlenecek verinin dili ve doğası ile doğrudan bağlantılıdır. Almanca.

Verim

Bir konuşma tanıma motorunun ham performansı genellikle kelimelerin hata oranları ( kelime hata oranı ) ile ölçülür . Tersine, başarı oranını değerlendirebiliriz. Bu oran, kopyalanacak verinin doğasına, konuşmacıya ve akustik koşullara bağlı olarak büyük ölçüde değişir. Dile çok az bağlıdır. Resmi tanımı şöyledir:

${\ mathit {WER}} = {\ frac {S + E + I} {N}}$

veya:

$S$ ikame sayısıdır;
$E$ seçimlerin sayısıdır;
$ben$ eklemelerin sayısıdır;
$DEĞİL$ referans transkripsiyondaki kelimelerin sayısıdır (tam transkripsiyon).

Hata oranı için bazı ortalama sonuçlar şunlardır:

metinler okundu (sesli dikte, tek hoparlörlü sistem):% 5
radyo ve TV gazeteleri:% 10
gayri resmi telefon görüşmeleri:% 40

Edebiyattan bahseder

Konuşma tanıma, Birinci Çember'de Sovyet muhalif yazar Alexander Solzhenitsyn tarafından Stalin'in hizmetinde bir baskı aracı olarak çağrılır .

Bir polisiye romanında konuşma tanımadan da bahsedilir:

“Bir polisin kariyeri ile bir nalbantın kariyeri arasında uzun süre tereddüt eden bir arkadaşımın bilgisayar başında üşümüş parmağıyla tıngırdattığı eski güzel raporlarımızla ilgisi yok. Yankees ile konuşursunuz ve o, silinmeden, tekrarlanmadan veya uygunsuz terimler olmadan, temiz ve düzenli bir şekilde kayıt altına alınır. Bir slot makinesinde okumayı öğrenmiş olan herhangi bir alçak, Romalı'dan tercüme edilen böcek öldürücü bir tozun kullanım talimatlarını yüzyıla ait bir çocuğun İtirafı ile karşılaştırarak sizi itiraflarla yakar.

Bu şeyin pilotluğunu yapmak için Princeton'dan ayrılmaya gerek yoktu. Operatörün güzel gürlüğü dışında mastürbasyon yapması gereken tek şey, kötü telaffuz edilen bir kelimeyi tekrar etmekti ve hatta cihaz bile cümlenin anlamıyla uyumlu bir eşanlamlılar kümesi önerdi. Makinenin çalıştığını görünce, tüm meslektaşlarımın düzyazısını anlaşılır kılacağı başlıkla titrediğini düşündüm. "

- Frédéric Dard takma adı San Antonio , Sand in Vaseline

İçinde insan ve makine arasındaki tek arayüz olarak konuşma tanıma söz edilmiyor kehanetler üçlemesi arasında Pierre BORDAGE . Nitekim bu üçlemede bir süper bilgisayar , DNA PC sunuluyor .

Konuşma tanıma yazılımı

Modern konuşma tanıma sistemleri, gigabaytlarca bellek gerektirebilen dil modellerini kullanır, bu da onları özellikle mobil cihazlarda kullanışsız hale getirir. Bu nedenle, çoğu modern konuşma tanıma sistemi aslında uzak sunucularda barındırılır ve bir internet bağlantısı ve ağ üzerinden ses içeriği göndermeyi gerektirir.

Cortana ( Microsoft )
Siri ( Apple )
Google Asistan ( Google )
Alexa ( Amazon )
Vocapia Research (VoxSigma paketi)
Vocon Hybrid ve Dragon (sırasıyla gramer ve Nuance Communications tarafından ücretsiz dikte ile belirlenir ).

Mozilla , tescilli olmayan konuşma tanıma motorlarını eğitmek için ücretsiz bir veritabanında ses örnekleri toplamak için Common Voice adlı bir topluluk projesi başlattı .

Notlar ve referanslar

(in) Leonard E. Baum, " Markov Zincirlerinin Olasılıksal Fonksiyonlarının İstatistiksel Analizinde Meydana Gelen Bir Maksimizasyon Tekniği " , The Annals of Mathematical Statistics ,1970, s. 164 - 171.
Peckham, J. (1993). Yeni nesil sözlü diyalog sistemleri: SUNDIAL projesinin sonuçları ve dersleri. Üçüncü Avrupa Konuşma İletişimi ve Teknolojisi Konferansı'nda.
(inç) " Apple , apple.com'da iPhone 4S iOS5 iCloud'u Piyasaya Sürüyor " ,4 Ekim 2011(erişim tarihi 21 Ağustos 2017 ) .
" Microsoft konuşma tanıma önemli ilerleme açıkladı " üzerine, actuia.com ,Ağustos 21, 2017(erişim tarihi 21 Ağustos 2017 ) .
San Antonio , Vazelin'de Kum , Paris, Kara Nehir ,Eylül 1998, 209 s. ( ISBN 2-265-06530-7 ) , s. 40-41.

Ayrıca görün

Kaynakça

Konuşma işleme , René Boite, Hervé Bourlard, Thierry Dutoit, Joel Hancq ve Henri Leich, Presses polytechniques et universitaire romandes, 2000.
Konuşma tanıma: Konuşma dilinin otomatik olarak işlenmesi 2. Hermes Science - Lavoisier (IC2 Anlaşması, Hesaplama ve bilgi sistemleri), J. Mariani (Ed.), 2002
Jean-Paul Haton , Otomatik konuşma tanıma: sinyalden yorumuna , Dunod Paris, 2006
Minker Wolfgang, Bennacef Samir (2000). Konuşma ve insan-makine diyaloğu , Editions Eyrolles ve CNRS EDITIONS, Marsat, 212 sayfa.

İlgili Makaleler

Dış bağlantılar

(en) [PDF] Sözlü Basamakların Otomatik Tanınması , ilk konuşma tanıma sistemi hakkında tarihi makale, 1952
(tr) "Bezelye İçinde Dinlenme: Konuşma Tanıma'nın Tanınmayan Ölümü" ,Mayıs 2010
(tr) Konuşma tanıma ile ilgili sözlük
adli bilimde ses tanımlama