keflex 750

Login

VIP Studio - журнал «Современная наука»

Russian (CIS)English (United Kingdom)

МОСКВА +7(495)-XXX-XX-XX

Использование рекуррентных нейронных сетей для ранжирования списка гипотез в системах распознавания речи

E-mail Печать

М.С. Кудинов,  (Аспирант, Федеральный исследовательский центр ИУ РАН)

Серия «Естественные и Технические науки» # 2  2016


В  статье представлены предварительные результаты использования рекуррентных нейронных сетей для языкового моделирования на материале русского языка. Решалась задача ранжирования равновероятных гипотез распознавания. Для уменьшения разреженности данных модели оценивались на лемматизованном новостном корпусе. Также для предсказаний использовалась морфологическая информация. Для финальной сортировки была использован метод опорных векторов для ранжирования. В статье показано, что комбинация нейронных сетей и морфологической модели дает лучшие результаты, чем 5-граммная модель со сглаживанием Кнессера-Нея.

Ключевые слова: Языковые модели, рекуррентная нейронная сеть, флективные языки, ранжирование гипотез, распознавание речи.

Читать полный текст статьи …


СПИСОК ЛИТЕРАТУРЫ:
1. Oparin: Language Models for Automatic Speech Recognition of Inflectional Languages. PhD thesis, University of West Bohemia, Pilsen, 2008.
2. E.W.D. Whittaker: Statistical Language Modeling for Au- tomatic Speech Recognition of Russian and English. PhD Thesis, Cambridge University, 2000.
3. A.Deoras, T.Mikolov, S. Kombrik: Approximate inference: A sampling based modeling technique to capture complex dependencies in a language model. Speech Communication, 2012
4. J.Bellegarda: Exploiting latent semantic information in statistical language modeling. Proc. IEEE. 88, 2000
5. D.Gildea, T.Hoffman: Topic-Based Language Models Using EM. In Proceedings of EUROSPEECH, 1999
6. Y.Bengio, R.Ducharme, P.Vincent, C.Jauvin: A Neural Probabilistic Language Model. Journal of machine learning research, 2003
7. T.Mikolov, M.Karafiat, L.Burget, J.Cernocky, S.Khudanpur: Recurrent neural network based language model, In: Proceedings of the 11th Annual Conference of the International Speech Communication Association (INTERSPEECH 2010), Makuhari, Chiba, JP
8. T.Mikolov,: Statistical Language Models based on Neural Networks. PhD thesis, Brno University of Technology, 2012.
9. D.Vazhenina, K.Markov, Evaluation of Advanced Language Modeling Techniques for Russian LVCSR, M.Zelezny et al. (Eds.): SPECOM2013, LNAI 8113, pp.124-131, 2013.
10. Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. In Proceedings of Workshop at ICLR, 2013.
11. Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In Proceedings of NIPS, 2013.
12. J.Elman. Finding Structure in Time. Cognitive Science, 14, 179-211, 1990.
13. Y.Bengio, P.Simard, P.Frasconi. Learning Long-Term Dependencies with Gradient Descent is Difficult, IEEE Transactions on neural networks, 1994
14. R.Pascanu, T.Mikolov, Y.Bengio. On the difficulty of training Recurrent Neural Networks, CoRR, 2012
15. Hochreiter, S. and Schmidhuber, J. (1996). Bridging long time lags by weight guessing and Long Short-Term Memory. In F.Silva, J.Principe, L.Almeida, Spatiotemporal models in biological and artificial systems
16. S.Muzychka, A.Romanenko, I.Piontkovskaja. Conditional Random Field for morphological disambiguation in Russian., Conference Dialog-2014, Bekasovo, 2014
17. J.Goodman. A Bit of Progress in Language Modeling, Microsoft Research Technical Report, 2001
18. T.Joachims. Optimizing Search Engines using Clickthrough Data, Proceedings of the ACM Conference on Knowledge Discovery and Data Mining, 2003
 



© 
М.С. Кудинов, Журнал "Современная наука: актуальные проблемы теории и практики".
 

 

 

 
 

ПРАВОВАЯ ИНФОРМАЦИЯ:  Перепечатка материалов допускается только в некоммерческих целях со ссылкой
на оригинал публикации. Охраняется законами РФ. Любые нарушения закона преследуются в судебном порядке. © ООО "Научные технологии"

 

Текущие статьи

Задачи и методы определения  сходства темпоральных орграфовЗадачи и методы определения сходства темпоральных орграфов
В.В. Кохов,  (Аспирант, Национальный исследовательский университет...
Изменчивость брюшных левых и правых микро – и макромеров зародышей гребенчатого тритона Triturus Cristatus  Laur в естественных и искусственных магнитных условияхИзменчивость брюшных левых и правых микро – и макромеров зародышей гребенчатого тритона...
В.В. Гассиева,  (Соискатель каф. зоологии СОГУ им. К.Л.Хетагурова)...
Многоядерные структуры для параллельных вычислений управляющих воздействий цифрового регулятораМногоядерные структуры для параллельных вычислений управляющих воздействий цифрового регулятора
О.В. Захарова,  (К.т.н., с.н.с., Приокский государственный университет,...

Журнал - Маркшейдерия и Недропользование Журнал Земля и Недвижимость Сибири Журнал - Минеральные Ресурсы России. Экономика и Управление Журнал - Геология Нефти и Газа Журнал - ГЛОБУС: Геология и Бизнес

Последние комментарии

RSS
VIP Studio Retro
levitra bitcoin