esCorpius: A Massive Spanish Crawling Corpus

Zobrazit minimální záznam

dc.contributor.author	Asier, Gutiérrez-Fandiño
dc.contributor.author	David, Pérez-Fernández
dc.contributor.author	Jordi, Armengol-Estapé
dc.contributor.author	David, Griol
dc.contributor.author	Zoraida, Callejas
dc.date.accessioned	2022-08-03T13:32:00Z
dc.date.available	2022-08-03T13:32:00Z
dc.date.issued	2022-07-01
dc.identifier.other	http://hdl.handle.net/11234/1-4807
dc.identifier.uri	http://hdl.handle.net/11372/LRT-4807
dc.description	In the recent years, Transformer-based models have lead to significant advances in language modelling for natural language processing. However, they require a vast amount of data to be (pre-)trained and there is a lack of corpora in languages other than English. Recently, several initiatives have presented multilingual datasets obtained from automatic web crawling. However, the results in Spanish present important shortcomings, as they are either too small in comparison with other languages, or present a low quality derived from sub-optimal cleaning and deduplication. In this paper, we introduce esCorpius, a Spanish crawling corpus obtained from near 1 Pb of Common Crawl data. It is the most extensive corpus in Spanish with this level of quality in the extraction, purification and deduplication of web textual content. Our data curation process involves a novel highly parallel cleaning pipeline and encompasses a series of deduplication mechanisms that together ensure the integrity of both document and paragraph boundaries. Additionally, we maintain both the source web page URL and the WARC shard origin URL in order to complain with EU regulations. esCorpius has been released under CC BY-NC-ND 4.0 license.
dc.language.iso	spa
dc.publisher	LHF Labs
dc.relation.isreferencedby	https://arxiv.org/pdf/2206.15147.pdf
dc.rights	Creative Commons - Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0)
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.source.uri	https://huggingface.co/datasets/LHF/escorpius
dc.subject	spanish crawling corpus
dc.subject	crawling corpus
dc.subject	spanish corpus
dc.subject	massive corpus
dc.subject	large corpus
dc.subject	clean
dc.subject	deduplicated
dc.title	esCorpius: A Massive Spanish Crawling Corpus
dc.type	corpus
metashare.ResourceInfo#ContentInfo.mediaType	text
dc.rights.label	PUB
has.files	yes
branding	LRT + Open Submissions
demo.uri	https://huggingface.co/datasets/LHF/escorpius
contact.person	David Pérez-Fernández david.perez@inv.uam.es Universidad Autónoma de Madrid
contact.person	Asier Gutiérrez-Fandiño asier@lhf.ai LHF Labs
size.info	322.5 gb
size.info	2421598201 sentences
size.info	50040055322 tokens
files.size	127717012916
files.count	35

Soubory tohoto záznamu

Licenční kategorie:

Publicly Available

Licence: Creative Commons - Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0)

Název: README.md
Velikost: 3.76 KB
Formát: Neznámý
Popis: Readme
MD5: 433934d90e6ab4acb258ca8439e47d73

Stáhnout soubor

Název: es_corpus.jsonl.aa.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 8dba4ae8bb01221cc5cc502d8c65c1bf

Stáhnout soubor

Název: es_corpus.jsonl.ab.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: a7ace259d5b86c495aca9b5934bd370e

Stáhnout soubor

Název: es_corpus.jsonl.ac.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 7c0b06362ad6c45d9a347939f8bbd417

Stáhnout soubor

Název: es_corpus.jsonl.ad.gz
Velikost: 3.68 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 0de1f6fec29626ab9ac484f42cf37005

Stáhnout soubor

Název: es_corpus.jsonl.ae.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: afa65cba79c27b623dbeb01328002c65

Stáhnout soubor

Název: es_corpus.jsonl.af.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 1745ebf5bfdc7663511391f13a890d27

Stáhnout soubor

Název: es_corpus.jsonl.ag.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 20727a6f57e8d1ebb6279838e66ba60e

Stáhnout soubor

Název: es_corpus.jsonl.ah.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: e27d6e036aadece16471a6be2f57237e

Stáhnout soubor

Název: es_corpus.jsonl.ai.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: b62440a395934806dd14961ee16705d2

Stáhnout soubor

Název: es_corpus.jsonl.aj.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 46a1099e9b10a5c7212501b6786c1be9

Stáhnout soubor

Název: es_corpus.jsonl.ak.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: ea72bade304a260c854b87c0f9fa2a09

Stáhnout soubor

Název: es_corpus.jsonl.al.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 11ff670ba344e6f4b71041b74b4fc96f

Stáhnout soubor

Název: es_corpus.jsonl.am.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: a213850f0f805b02a054dc8f2b660079

Stáhnout soubor

Název: es_corpus.jsonl.an.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: d529a79fcaf8626055372fee959d30bb

Stáhnout soubor

Název: es_corpus.jsonl.ao.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 3d0c5c0f8afdb5e5f4232e609476efb7

Stáhnout soubor

Název: es_corpus.jsonl.ap.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 8f5d3c5bf55a61f8fdd68893f8720f8a

Stáhnout soubor

Název: es_corpus.jsonl.aq.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 1f752f333933df2de0f0c6c45d510f70

Stáhnout soubor

Název: es_corpus.jsonl.ar.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: f75760bb0587cec3b857908b0df17c0f

Stáhnout soubor

Název: es_corpus.jsonl.as.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 8ea95a1173617514c3cdb34b11c3fe58

Stáhnout soubor

Název: es_corpus.jsonl.at.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: ca1455e2689aa0cb07f743a85cff5abd

Stáhnout soubor

Název: es_corpus.jsonl.au.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 02773af58d4a850360629723abfac7cd

Stáhnout soubor

Název: es_corpus.jsonl.av.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: f7e8060d60c1f9900a89f1bb289b96cf

Stáhnout soubor

Název: es_corpus.jsonl.aw.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: b76c5612ace2a1d63613c73cd68c8dc5

Stáhnout soubor

Název: es_corpus.jsonl.ax.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 7e451c06fa09c3f8dbe203f4ded90bdb

Stáhnout soubor

Název: es_corpus.jsonl.ay.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 6bcbd525cff2edc1a412e62bb551fb30

Stáhnout soubor

Název: es_corpus.jsonl.az.gz
Velikost: 3.68 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 6357cea12019987511678891c1d04801

Stáhnout soubor

Název: es_corpus.jsonl.ba.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 7623254f4f1cf197ff8a3e17bbf0d1cb

Stáhnout soubor

Název: es_corpus.jsonl.bb.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 261a99dc2aaea6b3a12dfe6fbe0b8a8c

Stáhnout soubor

Název: es_corpus.jsonl.bc.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 63302075d9fe23c60bbfeca37ec6d0c2

Stáhnout soubor

Název: es_corpus.jsonl.bd.gz
Velikost: 3.69 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 6fae421f956ef864c7560370ff07c66a

Stáhnout soubor

Název: es_corpus.jsonl.be.gz
Velikost: 3.68 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 46f299c0ef99402476f76177dca46b5f

Stáhnout soubor

Název: es_corpus.jsonl.bf.gz
Velikost: 3.68 GB
Formát: application/x-gzip
Popis: data chunk
MD5: 5b7ec55cab96f0b604b4cd60490fe7a9

Stáhnout soubor

Název: es_corpus.jsonl.bg.gz
Velikost: 936.87 MB
Formát: application/x-gzip
Popis: data chunk
MD5: cf0c7c680b86994c960728b9c8046c67

Stáhnout soubor

Název: escorpius.sha256
Velikost: 2.74 KB
Formát: Neznámý
Popis: sha256 sums of the uncompressed data chunks
MD5: e3840379cebfbfae96b8a56661465ced

Stáhnout soubor

Zobrazit minimální záznam