IAR Wikipedia parser

The IAR (Iván Arias Rodríguez) Wikipedia parser is a parser that downloads the Spanish Wikipedia, divides it in smaller chunks, deletes non-content articles and cleans all kind of tags or any other element that is not pure plain text, so it creates a corpus out of the content of the Wikipedia.

The creation of this software was supported by the Spanish Ministry of Education, Culture and Sport via a doctoral grant to Iván Arias Rodríguez (FPU16/04039). It has also been funded by research projects TIN2014-52010-R (RedR+Human) and TIN2017-88092 R (CetrO+Spec).

You can install this software with pip :

pip install iar-wiki-parser

If you change or adapt a function, change its name (for example add your initial after the name)

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License. http://creativecommons.org/licenses/by-nc-sa/4.0/

This code is given as is without warranty of any kind. In no event shall the authors or copyright holder be liable for any claim damages or other liability.

El IAR (Iván Arias Rodríguez) Wikipedia parser is un analizador que se descarga el contenido de la Wikipedia en español, la divide en trozos más pequeños, borra los artículos sin contenido enciclopédico y limpia todo tipo de etiquetas y cualquier otro elemento que no es puramente texto sin formato, de manera que crea un corpus a partir del contenido de la Wikipedia.

La creación de este software fue apoyada por el Ministerio de Educación, Cultura y Deporte de España, a través de una beca doctoral otorgada a Iván Arias Rodríguez (FPU16/04039). También ha sido financiado por los proyectos de investigación TIN2014-52010-R (RedR+Human) y TIN2017-88092 R (CetrO+Spec).

Puedes instalar este software con pip :

pip install iar-wiki-parser

Si cambias o adaptas una función, cambia su nombre (por ejemplo añade tus iniciales tras el nombre)

Este trabajo se ofrece bajo la licencia Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License. http://creativecommons.org/licenses/by-nc-sa/4.0/

Este código se ofrece como es sin ninguna garantía de ningún tipo. En ningún caso los autores o el titular de los derechos de autor serán responsables de cualquier reclamación por daños y perjuicios u otra responsabilidad.