viagra super force

+7(495) 123-XXXX  г. Москва

Выпуски журналов

  • Серия
  • Серия
  • Серия
  • Серия
  • Журнал
  • Журнал
  • Журнал
  • Журнал

М.Э. Закиров,  (Ст. разработчик в поисковом портале ООО «Спутник»)

Серия «Естественные и Технические науки» # СЕНТЯБРЬ-ОКТЯБРЬ  2016

Взаимная информация
В данной работе вводится понятие лексической параметризации с “нуля” и сравнительно рассматриваются два наиболее распространенных методов word2vec [3] и GloVe.[4] В процессе воплощения в виде программ данных методов были получены практические рекомендации, на основе экспериментального опыта, подкрепленные теоретическими выкладками. Также в работе представлена статистика и выводы автора могущие объяснить некоторые неясные прежде свойства методов касающиеся их устойчивости и сходимости. Данная работа носит обзорный характер, вводная часть содержит все необходимое для введения в проблематику.

Ключевые слова: Взаимная информация, сдвинутая взаимная информация, негативное семплирование.

 

Введение

Лексическая параметризация – это направление в вычислительной лингвистике, в рамках которого лексике ставится в соответствие набор параметров, несущий в себе “семантику”. Таким образом, что одинаковым в некотором смысле словам, ставится в соответствие похожие (в соответствии с некоторой метрикой) наборы параметров. А поскольку параметры несут семантику, возможно манипулирование непосредственно параметрами, минуя отсылку к тексту как таковому.

Гипотеза о статистической аналогии

Впервые показанная в работе [1], интересная “аномалия” привела к открытию понятия статистическая аналогии. Было найдено, что простая арифметическая разность и сумма трех словарных векторов приводит к нахождению  словарного вектора, наиболее близким к которому (например, по косинусной мере) оказывается словарный вектор слова аналога.

Читать полный текст статьи …


СПИСОК ЛИТЕРАТУРЫ:
1. Distributed Representations of Words and Phrases and their Compositionality авторы: Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, Jeffrey Dean
2. word2vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method авторы: Yoav Goldberg, Omer Levy.
3. Neural Word Embedding as Implicit Matrix Factorization авторы:Yoav Goldberg, Omer Levy
4. GloVe: Global Vectors for Word Representation авторы Jeffrey Pennington, Richard Socher, Christopher D. Manning
5. Методы оптимизации в примерах и задачах. Пантелеев А.В., Летова Т.А. (2005, 544с.)
6. Себер Дж. Линейный регрессионный анализ. М.: Мир, 1980. — 456 с.
 



© 
М.Э. Закиров, Журнал "Современная наука: актуальные проблемы теории и практики".
 

 

 

 
SCROLL TO TOP

 Rambler's Top100 @Mail.ru