Edición de «Word embedding»

'''''Word embedding''''' o '''encaje léxico''' es el nombre de un conjunto de&nbsp;[[Modelación del lenguaje|modelos de lenguaje]]&nbsp;y técnicas de aprendizaje en [[Procesamiento de lenguajes naturales|procesamiento del lenguaje natural]] (PLN) en donde las palabras o frases del lenguaje natural son representadas como vectores de [[Número real|números reales.]] Conceptualmente implica el&nbsp;[[Encaje (matemática)|encaje matemático]]&nbsp;de un espacio con una dimensión por palabra a un [[espacio vectorial]]&nbsp;continuo con menos dimensiones.

Algunos de los métodos para generar este mapeo o representación son&nbsp;las [[Modelación del lenguaje|redes neuronales]]; la&nbsp;[[reducción de dimensionalidad]]&nbsp;con matrices de co-ocurrencia de palabras; los modelos probabilísticos, y la representación explícita en términos del contexto en el cual estas palabras figuran.<ref>{{cite arXiv|eprint=1310.4546|last1=Mikolov|first1=Tomas|title=Distributed Representations of Words and Phrases and their Compositionality|last2=Sutskever|first2=Ilya|last3=Chen|first3=Kai|last4=Corrado|first4=Greg|last5=Dean|first5=Jeffrey|class=cs.CL|year=2013}}</ref><ref>{{cita publicación|arxiv=1312.5542|last1=Lebret|first1=Rémi|título=Word Emdeddings through Hellinger PCA|publicación=Conference of the European Chapter of the Association for  Computational Linguistics (EACL)|volumen=2014|last2=Collobert|first2=Ronan|año=2013}}</ref><ref>{{Cite conference|url=http://papers.nips.cc/paper/5477-neural-word-embedding-as-implicit-matrix-factorization.pdf|title=Neural Word Embedding as Implicit Matrix Factorization|last=Levy|first=Omer|conference=NIPS|year=2014|last2=Goldberg|first2=Yoav}}</ref><ref>{{Cite conference|url=http://ijcai.org/papers15/Papers/IJCAI15-513.pdf|title=Word Embedding Revisited: A New Representation Learning and Explicit Matrix Factorization Perspective|last=Li|first=Yitan|conference=Int'l J. Conf. on Artificial Intelligence (IJCAI)|year=2015|last2=Xu|first2=Linli}}</ref><ref>{{cita publicación|apellido=Globerson|nombre=Amir|fecha=2007|título=Euclidean Embedding of Co-occurrence Data|url=http://static.googleusercontent.com/media/research.google.com/en//pubs/archive/34951.pdf|publicación=Journal of Machine learning research|doi=|pmid=|access-date=}}</ref><ref>{{cite conference|last1=Levy|first1=Omer|last2=Goldberg|first2=Yoav|title=Linguistic Regularities in Sparse and Explicit Word Representations|conference=CoNLL|pages=171–180|year=2014|url=https://levyomer.files.wordpress.com/2014/04/linguistic-regularities-in-sparse-and-explicit-word-representations-conll-2014.pdf}}</ref>

El ''Word'' y ''phrase embeddings'' (para palabras y frases respectivamente), utilizados de forma subyacente como forma de representación, demostraron aumentar el rendimiento de tareas en el procesamiento del lenguaje natural (NLP) como en el [[Analizador sintáctico|análisis sintáctico]]<ref>{{cite conference|last1=Socher|first1=Richard|last2=Bauer|first2=John|last3=Manning|first3=Christopher|last4=Ng|first4=Andrew|title=Parsing with compositional vector grammars|conference=Proc. ACL Conf.|year=2013|url=http://www.socher.org/uploads/Main/SocherBauerManningNg_ACL2013.pdf|fechaacceso=23 de octubre de 2017|fechaarchivo=11 de agosto de 2016|urlarchivo=https://web.archive.org/web/20160811041232/http://www.socher.org/uploads/Main/SocherBauerManningNg_ACL2013.pdf|deadurl=yes}}</ref> y [[análisis de sentimiento]].<ref>{{cite conference|last1=Socher|first1=Richard|last2=Perelygin|first2=Alex|last3=Wu|first3=Jean|last4=Chuang|first4=Jason|last5=Manning|first5=Chris|last6=Ng|first6=Andrew|last7=Potts|first7=Chris|title=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank|conference=EMNLP|year=2013|url=http://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf}}</ref>

== Desarrollo de la técnica ==
En&nbsp;[[lingüística]]&nbsp;la técnica de&nbsp;''word embeddings''&nbsp;fue discutida en el área de investigación de [[semántica distribucional]]. Apunta para cuantificar y categorizar las semejanzas semánticas entre elementos lingüísticos basándose en sus propiedades distribucionales en muestras grandes de dato de lengua. La idea subyacente que "una palabra está caracterizada por la compañía que mantiene" estuvo popularizado por [[John Rupert Firth|J. R. Firth]].<ref>{{cita publicación|apellido=Firth|nombre=J.R.|año=1957|título=A synopsis of linguistic theory 1930-1955|publicación=Studies in Linguistic Analysis|páginas=1–32|ref=harv|editorial=Oxford: Philological Society}} Reprinted in {{cita libro|editor=F.R. Palmer|título=Selected Papers of J.R. Firth 1952-1959|editorial=London: Longman|año=1968}}</ref>

Hay muchas ramas y muchos grupos de desarrollo trabajando en este tema. En 2013, un equipo en [[Google]] dirigido por Tomas Mikolov creó [[Word2Vec|word2vec]], un paquete de herramientas el cual puede entrenar un modelo de espacio vectorial más rápidamente que las aproximaciones anteriores.<ref>[https://code.google.com/archive/p/word2vec/ word2vec]</ref> La mayoría de las nuevas técnicas utilizan una arquitectura de [[Red neuronal artificial|red neuronal]] en vez de los modelos más tradicionales como n-gram y [[aprendizaje no supervisado]].<ref>{{cita publicación|título=A Scalable Hierarchical Distributed Language Model|url=http://papers.nips.cc/paper/3583-a-scalable-hierarchical-distributed-language-model}}</ref>

== Software ==
Entre el software para entrenar y utilizar word embedding se halla&nbsp;word2vec, GloVe de Stanford, Gensim,<ref>{{cita web|url=http://radimrehurek.com/gensim/|título=Gensim}}</ref> Indra<ref>{{cite web |url=https://github.com/Lambda-3/Indra |title=Indra}}</ref> y Deeplearning4j.<ref>{{cita web|url=http://nlp.stanford.edu/projects/glove/|título=GloVe}}</ref> Tanto el&nbsp;[[Análisis de componentes principales|análisis de Componente principal]] (''PCA ''en inglés) como&nbsp;''T-Distributed Stochastic Neighbour Embedding (t-SNE)''&nbsp;se utilizan para reducir la dimensionalidad del espacio vectorial de palabras y visualizar el ''encaje de palabras''&nbsp;en grupos (clusters).<ref>{{cita publicación|apellido=Ghassemi|nombre=Mohammad|last2=Mark|first2=Roger|last3=Nemati|first3=Shamim|fecha=2015|título=A Visualization of Evolving Clinical Sentiment Using Vector Representations of Clinical Notes|url=http://www.cinc.org/archives/2015/pdf/0629.pdf|publicación=Computing in Cardiology|doi=|pmid=|access-date=}}</ref>

== Véase también ==

* [[Incrustación de vecinos estocásticos distribuidos en t (t-SNE)]]
* [[Tf-idf]]

== Referencias ==
{{listaref}}

{{Control de autoridades}}
[[Categoría:Lingüística computacional]]
[[Categoría:Procesamiento de lenguaje natural]]