LRT + Open Submissions Data & Tools

Permanent URI for this collectionhttp://hdl.handle.net/11858/00-097C-0000-0007-710B-8

Data and Tools from CLARIN Language Resources and Technologies Inventory and from researchers and organizations not associated with LINDAT/CLARIAH-CZ. You don't need to be linked to CLARIN, we can still store your data safely and help you share it with the scientific community.

Browse

Now showing 1 - 20 out of 814 results

Item

CeNeA Database - Central and North-eastern Asia Ideophone Database 1.0

(Charles University, Faculty of Arts, Institute of Asian Studies, 2026-01-27) Zikmundová, Veronika; Kai, Alnas; Kapišovská, Veronika; Kratochvíl, František; Křivan, Jan; Mikos, Rachel; Oberfalzerová, Alena; Vlasák, Jonáš; Vlasáková, Aldana; Židek, Jan

The emerging Central and North-eastern Asia Ideophone Database contains ideophones from three languages – Mongolian (ca. 3700 lemmas), Sakha (ca. 400 lemmas), and Sibe (ca. 100 lemmas). It is based on published sources (dictionaries, foklore, and fiction), and field data (half-structured interviews and elicitation). The database (a file with tab-separated values) contains ideophone lemmata with morphological segmentation and semantic explanations. List of columns: 1. "Language" = MON (Mongolian), SAH (Sakha), SJA (Sibe); 2. "Root" = ideophonic root; 3. "Lemma" = ideophonic lemma; 4. "Form_morpho" = alphabetical transcription with morphological segmentation; 5. "Form_original" = original in Cyrilic script; 6. "Description_Cze" = semantic explanation in Czech; 7. "Description_Eng" = semantic explanation in English; 8. "Description_Source1" = only for MON: semantic explanation from Pyurbeev et al. (2001) Bol'shoi mongol'sko-russkij akademicheskii slovar (Great Academic Mongolian-Russian Dictionary). Moscow: Academia. 9. "Description_Source2" = only for MON: semantic explanation from "Монгол хэлний их тайлбар толь" (Great Explanatory Dictionary of Mongolian). Online: https://mongoltoli.mn/ 10. "Description_Source3" = only for MON: semantic explanation provided by project consultant Gonchigsüren Oyunchimeg (consulted in 2022-2024).

Item

LatinISE corpus (version 6) (2026-04-29)

(Lexical Computing, 2026-04-24) McGillivray, Barbara

The LatinISE corpus is a text corpus collected from the LacusCurtius, Intratext and Musisque Deoque websites. Corpus texts have rich metadata containing information as genre, title, century or specific date. This Latin corpus was built by Barbara McGillivray. In the version 5 and 6 of the corpus the author names and datings of texts before 600 CE have been manually corrected and duplicates of texts have been removed. Thanks to Valentina Lunardi for this data curation.

Item

Annotated corpora and tools of the PARSEME Shared Task : Subtask 1, MWE Identification (edition 2.0)

(PARSEME, 2026-03-06) Savary, Agata; Scholivet, Manon; Ramisch, Carlos; Nakamura, Takuya; Bilinski, Eric; Stymne, Sara; Giouli, Voula; Markantonatou, Stella; Păiș, Vasile; Mitrofan, Maria; Estève, Louis Clément; Guillaume, Bruno; Barbu Mititelu, Verginica; Čibej, Jaka; Díaz Hernández, Roberto Antonio; Fendel, Victoria; Gantar, Polona; Kanishcheva, Olha; Krstev, Cvetana; Liebeskind, Chaya; Lobzhanidze, Irina; Marković, Aleksandra; Nešpore-Bērzkalne, Gunta; Pagano, Adriana; Shamsfard, Mehrnoush; Stanković, Ranka; Tajalli, Vahide; Tiberius, Carole; Padhye, Aakanksha; Romero Fernández, Carmen; Karamousli, Georgia; Markantonatou, Stella; Pantazis, Athanasios; Papanikolaou, Eri; Tononidou, Styliani; Seraji, Kosar; Deletombe, Mathilde; Cheng, Sirui; Ffytche, Artemis; Guilloteau, Alexandre; Ó Siochfhradha Prešern, Svetlana; Platanou, Paraskevi; Squeri, Elena; Vlastou, Eirene; Dayan, Yael; Damari, Elinoy; Berikashvili, Svetlana; Klints, Agute; Rituma, Laura; Colman, Lut; Latusek, Anna; Wróblewska, Alina; Berndt de Souza, Gabriela; Guedes, Leticia; Tempesta, Eric; Biolan, Ioana; Buhnila, Ioana; Irimia, Elena; Cristescu, Mihaela; Mihăilă, Cătălin; Șinca, Isabella; Todirașcu, Amalia; Vasile, Carmen; Krek, Simon; Bon, Mija; Dobrovoljc, Kaja; Hüll, Nives; Berntsson Ingelstam, Astrid; Lundqvist, Stella; Nilson, Ida; Petterson, Eva; Bagi, Marina; Dinić Marinković, Milica; Đukić, Marijana; Shvedova, Maria; Sytar, Hanna

This multilingual resource contains corpora in which multiword expressions (MWEs) of all syntactic categories have been manually annotated. While previous editions covered only verbal MWEs, this version extends the annotation scope to all syntactic MWE categories: verbal, nominal, adjectival, adverbial and functional. This release of the corpora is associated to the PARSEME 2.0 Multilingual Shared Task on Identification and Paraphrasing of Multiword Expressions. It corresponds to the data used in subtask 1, on MWE identification. The data covers 17 languages, of which 7 are new with respect to previous PARSEME editions. The annotation process is based on cross-lingually unified guidelines, phrased as decision diagrams over linguistic tests, and a typology of 18 MWE categories. The corpus contains almost 5 million tokens, over 250,000 sentences and 140,000 MWE annotations. MWEs were annotated according to the universal guidelines. The corpora are provided in the CUPT format, inspired by the CONLL-U format. Morphological and syntactic information, including parts of speech, lemmas, morphological features and/or syntactic dependencies, are also provided. Depending on the language, the information comes from treebanks (e.g., Universal Dependencies) or from automatic parsers trained on treebanks (e.g., UDPipe). All corpora are split into training, development and test data, following the splitting strategy adopted for the PARSEME 2.0 Shared Task - subtask 1. This release includes the test data, which was kept secret from participants during the evaluation phase. The annotation guidelines are available online: https://parsemefr.lis-lab.fr/parseme-st-guidelines/2.0 The CUPT format is detailed here: https://gitlab.com/parseme/corpora/-/wikis/CUPT-format Reference ------- When referring to this release, please, cite: * Agata Savary, Manon Scholivet, Carlos Ramisch, Takuya Nakamura, Eric Bilinski, Sara Stymne, Voula Giouli, Stella Markantonatou, Vasile Păiș, Maria Mitrofan, Louis Estève, Bruno Guillaume, Verginica Barbu Mititelu, Jaka Čibej, Roberto A. Díaz Hernández, Victoria Fendel, Polona Gantar, Olha Kanishcheva, Cvetana Krstev, Chaya Liebeskind, Irina Lobzhanidze, Aleksandra Marković, Gunta Nešpore-Bērzkalne, Adriana Pagano, Mehrnoush Shamsfard, Ranka Stanković, Vahide Tajalli, Carole Tiberius, Aakanksha Padhye (2026), _PARSEME 2.0 multilingual corpus of multiword expressions_, in Proceedings of LREC 2026, ELRA, Palma de Mallorca, Spain.

Item

CooccurrenceFieldSampler (CFS)

(Jan Oliver Rüdiger, 2026-01-01) Jan Oliver Rüdiger

The CooccurrenceFieldSampler (CFS) was developed for sampling from corpora to facilitate lexicographical data analysis. It works with corpora from different sources, text types or years. In random sentence sampling (random/opportunistic sampling), it can be observed that corpora containing different text types and lengths (per source) cannot always be mixed optimally, as they usually do not have the same size and have different topic weightings, for example. The CFS was designed to solve this problem. The CFS first calculates all co-occurrences for all tokens within sentences – separately for each source. These corpora are then combined in a 1:1 mixture and the co-occurrences for the entire data set are recalculated. The tool evaluates which co-occurrences disappear and which new ones are created, resulting in quotas that control the random mixing of the corpora sentence by sentence. The end result is a sentence-based corpus that (A) strives to retain the maximum number of co-occurrences from all sources (as accurately as possible) and (B) minimises the rejection of corpus data. --- To use the CFS tool, follow these steps: 1. Unzip the ZIP file containing the necessary files. 2. For Windows, Linux, and macOS, you will find precompiled binaries that run exclusively on x64 processors. 3. If you are using a different processor type, such as ARM or ARM64, please use the Universal folder. 4. Windows users should run "cfs.exe" directly. 5. For Linux and macOS users, you must mark the cfs file as executable. 6. If using the Universal version, ensure .NET 10.0 is installed for compiling. You can then run the program with "dotnet cfs.dll". 7. To display help information, use the --help parameter. Help/Parameter: --from (Default: cec / recommended: cec) import file format (valid: cec, bnc, catma, clan, conll, cora, cwd, dewac, dta, folia, fln, korap, leipzig, xces, relannis, salt, json, sketch, speedy, tiger, tlv, treetagger, tsv, txm, weblicht) --input (Default: input/) folder with input-files (mix per file) --to (Default: cec / recommended: cec) export file format (valid: cec, catma, conll, cwd, csv, dta, folia, i5, korap, xces, plain, salt, json, sketch, speedy, tlv, tsv, treetagger, txm, weblicht) --layer (Default: Wort) use this layer to calculate the co-occurrences --output (Default: output.cec6) output file (every round and logfile) --minFrequency (Default: 1 / recommended: 5) min. absolute frequency --minSignificance (Default: 1.0 / recommended: 1.0) min. significance (poisson distribution) --minChangeRate (Default: 0.1 / recommended: 0.1) min. significance (poisson distribution) --maxRounds (Default: 10 / recommended: 5) min. absolute frequency --help Display this help screen. --version Display version information. Supported corpus formats (input/output): cec - CorpusExplorer Corpus (v6) - http://corpusexplorer.de bnc - British National Corpus - http://www.natcorp.ox.ac.uk/ catma - CATMA (Computer assisted text markup and analysis) - https://catma.de/ clan - CLAN/CHILDES - https://talkbank.org/childes/ conll - CoNLL-U https://universaldependencies.org/format.html cora - CORA XML - https://cora.readthedocs.io/en/latest/coraxml/ cwd - IMS Open Corpus Workbench (CWB) - https://cwb.sourceforge.io/ dewac - https://wacky.sslmit.unibo.it/doku.php?id=corpora dta - DTA TCF-XML - https://www.deutschestextarchiv.de/download folia - FoLiA XML - https://proycon.github.io/folia/ fln - Folker/OrthoNormal - https://exmaralda.org/de/folker-de/ korap - KorAP - http://korap.ids-mannheim.de/ leipzig - Wortschatz Leipzig - https://wortschatz.uni-leipzig.de/en/download/ xces - XCes XML - http://www.xces.org/ / https://www.cs.vassar.edu/CES/ relannis - https://corpus-tools.org/annis/ salt - https://corpus-tools.org/archive-2015-2025/salt/ json - https://de.wikipedia.org/wiki/JSON sketch - SketchEngine VERT - https://www.sketchengine.eu/glossary/vertical-file/ speedy - SPEEDy Annotation Editor - http://kups.ub.uni-koeln.de/id/eprint/55224 tiger - TiGER-XML - https://www.ims.uni-stuttgart.de/documents/ressourcen/werkzeuge/tigersearch/doc/html/TigerXML.html tlv - TLV-XML treetagger - TreeTagger - https://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/ tsv - Tab-separated values - https://en.wikipedia.org/wiki/Tab-separated_values txm - TXM - https://txm.gitpages.huma-num.fr/textometrie/?lang=en weblicht - Weblicht - https://weblicht.sfs.uni-tuebingen.de/weblichtwiki/Main_Page.html csv - Comma-separated values - https://en.wikipedia.org/wiki/Comma-separated_values i5 - i5-XML - https://www.ids-mannheim.de/en/digspra/pb-s1/projects/corpus-development/ids-text-model/ plain - Plaintext - https://en.wikipedia.org/wiki/Plain_text

Item

Russian Media Corpus on the Harris–Trump Debate (RMC_HTD)

(Universidad Rey Juan Carlos, 2025-11-13) Shorokhova, Elena

Russian Media Corpus on the Harris–Trump Debate contains metadata from Russian-language news articles reporting on the presidential debate between Kamala Harris and Donald Trump, which took place on 10 September 2024 and was broadcast by ABC News. The corpus includes articles published by four Russian-language media outlets: Kommersant, Argumenty i Fakty, Meduza, and BBC News Russian. All articles were published on 11 September 2024. The corpus consists of 19 articles written in Russian. The primary purpose of the corpus is to support research in Critical Discourse Analysis and studies on media representation of the event in the Russian-speaking press.

Item

Antoninus Liberalis, Μεταμορφώσεων συναγωγή (Transformationum congeries)

(Filozofická fakulta, Univerzita Karlova, 2025) Kamil Gregor

Μεταμορφώσεων συναγωγή (lat. "Transformationum congeries", English "Collection of Metamorphoses") is a Greek prosaic mythographic work attributed to Antoninus Liberalis, otherwise unknown author, and dated most likely to the 1st or 2nd century CE.

Item

C.R.I.M.E.: The Corpus of Recorded Investigative, Media, and Evidence-based Proceedings

(Steven Coats, 2025) Coats, Steven; Roemling, Dana

CRIME is the Corpus of Recorded Investigative, Media, and Evidence-based Proceedings, a structured, searchable resource comprising ASR-generated transcripts from investigative interviews, courtroom interactions, and other criminal-justice-related media content. This version contains, for each transcript, a link to the corresponding audio.

Item

The YouTube Corpus of Singapore English Podcasts

(University of Oulu, 2025) Coats, Steven; Basile, Carmelo Alessandro; Morin, Cameron; Fuchs, Robert

The YouTube Corpus of Singapore English Podcasts (YCSEP) contains transcripts from 620 hours of over 1,300 podcast episodes by Singapore-based content creators. The dataset, diarized into individual speaker turns, contains over 757,000 individual turns and 8.38 million word tokens. Created using a pipeline comprising yt-dlp, WhisperX, and pyannote.audio, it is intended to advance the study of the linguistic and discourse properties of Singapore English.

Item

[RPK] - Radiopredigtenkorpus (german radio sermons): 1933-1939; 1950-1960; 2010-2024

(Universität Münster, 2025-09-01) Anna-Maria Balbach; Jan Oliver Rüdiger

*** german version see below *** The first corpus of German radio sermons comprises over 29,000 fully digitized and annotated manuscripts of modern radio sermons from the years 2010–2024 and 267 manuscripts of historical radio sermons from the Nazi era (1933–1939) and 96 texts from GDR radio (1950–1960). The modern radio sermons are the final versions of the manuscripts that were recorded in the studio and then broadcast on various German stations. The radio sermons come from RBB, HR, WDR, SWR, BR, and SR, covering the entire German broadcasting area. Texts from an average of ten years are available from each station. The historical Catholic radio sermons from the Nazi era were collected from the diocesan archives in Münster. They were broadcast between 1933 and 1938 on Reichssender Köln. The historical Protestant radio sermons come from the State Church Archive of the Evangelical Lutheran Church in Bavaria (LAELKB) in Nuremberg and were broadcast between 1933 and 1939 on Reichssender München. The radio sermons from the GDR regime cover the years 1950–1960 and were broadcast on GDR radio. The Catholic texts were taken from the publication Pfeiffer, Ernst (1962): Frohbotschaft in Rundfunkansprachen. Leipzig: St. Benno-Verlag GmbH, while the Protestant radio sermons were taken from the publication Wagner, Heinz (1973): Annahme einer Nachricht. Predigten im Rundfunk. Berlin: Evangelische Verlagsanstalt. The corpus thus comprises texts from three exemplary periods in the 100-year history of radio sermons (1924–2024), which were created under three different political systems. The radio sermons from the Nazi era and the GDR period were subject to strict censorship before they were broadcast. This allows for both diachronic linguistic analyses and synchronic analyses of radio sermons from different stations. The addition of metadata (station, denomination, author, date, title) enables linguistic analyses from regional or denominational perspectives, for example. It is also possible to conduct studies of radio sermons by specific authors or from specific times/periods (e.g., during the pandemic). The corpus can be used free of charge. Please note that the files are saved as *.cec6. These are binary files from CorpusExplorer (available free of charge as open source at http://corpusexplorer.de). These files ensure efficient archiving. You can use both CorpusExplorer and the ‘CEC6 Converter’ (available for Linux, MacOS, and Windows - see: http://hdl.handle.net/11372/LRT-5913) to convert the data. The data can be exported in the following formats: CATMA v6; CoNLL; CSV; CSV (nur Metadaten); DTA TCF-XML; DWDS TEI-XML; HTML; IDS I5-XML; IDS KorAP XML; IMS Open Corpus Workbench; JSON; OPUS Corpus Collection XCES; Plaintext; SaltXML; SlashA XML; SketchEngine VERT; SPEEDy/CODEX (JSON); TLV-XML; TreeTagger; TXM; WebLicht und einfaches XML. *** english version see above *** Das erste Korpus deutscher Radiopredigten umfasst über 29.000 vollständig digitalisierte und annotierte Manuskripte moderner Radiopredigten aus den Jahren 2010–2024 und 267 Manuskripte historischer Radiopredigten aus dem Nationalsozialismus (1933–1939) sowie 96 Texte aus dem DDR-Rundfunk (1950–1960). Bei den modernen Radiopredigten handelt es sich um die Endfassungen derjenigen Manuskripte, die dann im Studio eingesprochen und anschließend in verschiedenen deutschen Sendern ausgestrahlt worden sind. Die Radiopredigten stammen aus dem RBB, HR, WDR, SWR, BR und SR, sodass sie das gesamtdeutsche Rundfunkgebiet abdecken. Aus jedem Sender liegen Texte aus durchschnittlich zehn Jahren vor. Die historischen katholischen Radiopredigten aus dem Nationalsozialismus wurden im Bistumsarchiv Münster erhoben. Sie wurden zwischen 1933–1938 im Reichssender Köln gesendet. Die historischen evangelischen Radiopredigten stammen aus dem Landeskirchlichen Archiv der Evangelisch-Lutherischen Kirche in Bayern (LAELKB) in Nürnberg und wurden von 1933–1939 im Reichssender München ausgestrahlt. Die Radiopredigten aus der Zeit des DDR-Regimes umfassen die Jahre 1950–1960 und wurden im DDR-Rundfunk gesendet. Die katholischen Texte wurden der Publikation Pfeiffer, Ernst (1962): Frohbotschaft in Rundfunkansprachen. Leipzig: St. Benno-Verlag GmbH entnommen, die evangelischen Radiopredigten der Publikation Wagner, Heinz (1973): Annahme einer Nachricht. Predigten im Rundfunk. Berlin: Evangelische Verlagsanstalt. Damit umfasst das Korpus die Texte aus drei exemplarischen Zeiträumen aus der 100-jährigen Geschichte der Radiopredigten (1924–2024), die unter drei verschiedenen politischen Systemen entstanden sind. Die Radiopredigten aus dem Nationalsozialismus und aus der DDR-Zeit unterlagen vor der Ausstrahlung einer strengen Zensur. Damit sind sowohl diachrone sprachlichen Analysen möglich, als auch synchrone Analysen unter den Radiopredigten der verschiedenen Sender. Durch die Anreicherung mit Metadaten (Sender, Konfession, Autor:in, Datum, Titel) sind z. B. Sprachanalysen unter regionalen oder konfessionellen Aspekten möglich. Auch Untersuchungen von Radiopredigten bestimmter Autor:innen oder Zeitpunkten/-räumen (z. B. Pandemiezeit) können durchgeführt werden. Das Korpus kann kostenlos genutzt werden. Bitte beachten Sie, dass die Dateien als *.cec6 gespeichert sind. Dies sind Binärdateien des CorpusExplorers (OpenSource kostenfrei verfügbar unter http://corpusexplorer.de). Diese Dateien gewährleisten eine effiziente Archivierung. Sie können sowohl den CorpusExplorer als auch den ‚CEC6-Converter‘ (verfügbar für Linux, MacOS und Windows - siehe: http://hdl.handle.net/11372/LRT-5913) zur Konvertierung der Daten verwenden. Die Daten können in folgende Formate exportiert werden: CATMA v6; CoNLL; CSV; CSV (nur Metadaten); DTA TCF-XML; DWDS TEI-XML; HTML; IDS I5-XML; IDS KorAP XML; IMS Open Corpus Workbench; JSON; OPUS Corpus Collection XCES; Plaintext; SaltXML; SlashA XML; SketchEngine VERT; SPEEDy/CODEX (JSON); TLV-XML; TreeTagger; TXM; WebLicht und einfaches XML.

Item

QuickAnnotator

(Leibniz-Institut für Deutsche Sprache, 2025-07-01) Jan Oliver Rüdiger

Projektübersicht (Deutsch) - [English project description see below] IDS.QuickAnnotator ist ein umfassendes, modular aufgebautes System zur effizienten, transparenten und reproduzierbaren Annotation von Textkorpora. Ziel des Projekts ist es, den gesamten Workflow von der Auswahl und Vorbereitung der Texte über die eigentliche Annotation bis hin zur Auswertung und Konvertierung der Ergebnisse zu unterstützen und zu automatisieren. Das System besteht aus mehreren spezialisierten Komponenten, die jeweils einen klar abgegrenzten Aufgabenbereich abdecken: IDS.QuickAnnotator.API Die zentrale Server-Komponente stellt eine REST-basierte Web-API bereit, über die sämtliche Annotationen, Annotations-Jobs und Nutzerinteraktionen verwaltet werden. Sie sorgt für die Konsistenz der Daten und ermöglicht die Integration externer Tools und Clients. IDS.QuickAnnotator.Client Die Hauptoberfläche für Annotatoren bietet eine intuitive Benutzerführung und unterstützt die individuelle Bearbeitung und Verwaltung von Annotationen. Jeder Nutzer arbeitet mit eigenen Annotationen, wodurch eine klare Trennung und Nachvollziehbarkeit gewährleistet ist. IDS.QuickAnnotator.Client.Selector Dieses Tool unterstützt Hilfskraftbetreuer bei der Vorauswahl von Texten. Mithilfe von statistischem Sampling können gezielt relevante Textausschnitte für die Annotation zusammengestellt werden, um eine ausgewogene und repräsentative Stichprobe zu gewährleisten. IDS.QuickAnnotator.CorpusPreSampler Das Presampling-Modul automatisiert die statistische Vorauswahl und Bereinigung von Texten. Es bereitet die Daten für den IDS.QuickAnnotator.Client.Selector vor und stellt sicher, dass die zu annotierenden Texte den gewünschten Kriterien entsprechen. IDS.QuickAnnotator.Processor Dieses Modul konvertiert verschiedene Korpusformate (z. B. KorAP) in ein einheitliches, von der API verarbeitbares Format. Dadurch können unterschiedlich strukturierte Ausgangsdaten problemlos integriert und weiterverarbeitet werden. IDS.QuickAnnotator.QafSampler Der QafSampler ermöglicht eine quotenbasierte Auswahl von Texten, um bestimmte Kriterien oder Verteilungen innerhalb des Korpus gezielt abzubilden und die Zusammensetzung der Stichprobe zu steuern. IDS.QuickAnnotator.Tool4.AnnotatedBy Mit diesem Analyse-Tool lässt sich nachvollziehen, welche Texte und Textstellen von welchen Personen annotiert wurden. Es unterstützt die Qualitätssicherung, die Auswertung der Annotationen und die Dokumentation der Arbeitsprozesse. IDS.QuickAnnotator.Tool4.ApplyAnnotatorFixes Dieses Tool dient dazu, nachträgliche Korrekturen und Anpassungen an bestehenden Annotationen vorzunehmen, etwa um Fehler zu beheben oder die Datenqualität zu erhöhen. IDS.QuickAnnotator.Tool4.CalcDiff Das Berichtstool erstellt Auswertungen zu abgeschlossenen Annotationen, darunter Interannotator Agreement, DIFF-Ansichten im HTML-Format und Analyse-Diagramme zur Visualisierung der Ergebnisse. So können Unterschiede und Übereinstimmungen zwischen Annotatoren systematisch erfasst werden. IDS.QuickAnnotator.Tool4.ConvertToCorpus Nach Abschluss der Annotationen können die Korpora mit diesem Tool in verschiedene Zielformate (z. B. KorAP) konvertiert werden, um sie für weitere Analysen oder externe Anwendungen bereitzustellen. IDS.QuickAnnotator.Tool4.ConvertToJournal Dieses Modul konvertiert die annotierten Korpora in ein internes Journal-Format, das für spezifische Workflows und Dokumentationszwecke innerhalb des Projekts genutzt wird. IDS.QuickAnnotator.Tool4.FindMatchSentences Mit diesem Tool können übereinstimmende Sätze in verschiedenen annotierten Korpora gefunden und verglichen werden, was die Konsistenzprüfung und Qualitätssicherung erleichtert. IDS.QuickAnnotator.Tool4.OnlyAnnotatedBy Dieses Analyse-Tool identifiziert Annotationen, die ausschließlich von einem bestimmten Annotator erstellt wurden, und unterstützt so die gezielte Auswertung individueller Beiträge und die Überprüfung der Annotationstiefe. IDS.QuickAnnotator.Tool4.RemoveAnnotator Ermöglicht das nachträgliche Entfernen von Annotationen, beispielsweise wenn ein Annotator ausfällt oder Daten bereinigt werden müssen. IDS.QuickAnnotator.Web Die Web-Version des Clients befindet sich aktuell im Beta-Stadium und bietet eine moderne, browserbasierte Oberfläche für die Annotation. Sie ermöglicht ortsunabhängiges Arbeiten und eine einfache Integration in bestehende Workflows. Alle Komponenten sind in separaten Unterordnern organisiert und greifen über klar definierte Schnittstellen ineinander. Die modulare Architektur erlaubt eine flexible Erweiterung und Anpassung an unterschiedliche Anforderungen und Korpusformate. So entsteht eine skalierbare Infrastruktur, die den gesamten Prozess von der Auswahl und Konvertierung der Texte bis zur Analyse und Auswertung der Annotationen abdeckt und eine hohe Datenqualität sowie Nachvollziehbarkeit sicherstellt. project description (Englisch) IDS.QuickAnnotator is a comprehensive, modular system for the efficient, transparent, and reproducible annotation of text corpora. The aim of the project is to support and automate the entire workflow, from the selection and preparation of texts to the actual annotation and evaluation and conversion of the results. The system consists of several specialized components, each covering a clearly defined area of responsibility: IDS.QuickAnnotator.API The central server component provides a REST-based web API that manages all annotations, annotation jobs, and user interactions. It ensures data consistency and enables the integration of external tools and clients. IDS.QuickAnnotator.Client The main interface for annotators offers intuitive user guidance and supports individual editing and management of annotations. Each user works with their own annotations, ensuring clear separation and traceability. IDS.QuickAnnotator.Client.Selector This tool supports assistant supervisors in the preselection of texts. With the help of statistical sampling, relevant text excerpts can be compiled for annotation in order to ensure a balanced and representative sample. IDS.QuickAnnotator.CorpusPreSampler The presampling module automates the statistical preselection and cleaning of texts. It prepares the data for the IDS.QuickAnnotator.Client.Selector and ensures that the texts to be annotated meet the desired criteria. IDS.QuickAnnotator.Tool4.AnnotatedBy This analysis tool allows you to track which texts and text passages have been annotated by which individuals. It supports quality assurance, the evaluation of annotations, and the documentation of work processes. IDS.QuickAnnotator.Tool4.ApplyAnnotatorFixes This tool is used to make subsequent corrections and adjustments to existing annotations, for example to fix errors or improve data quality. IDS.QuickAnnotator.Tool4.CalcDiff The reporting tool generates evaluations of completed annotations, including interannotator agreement, DIFF views in HTML format, and analysis diagrams for visualizing the results. This allows differences and similarities between annotators to be systematically recorded. IDS.QuickAnnotator.Tool4.ConvertToCorpus Once the annotations are complete, this tool can be used to convert the corpora into various target formats (e.g., KorAP) in order to make them available for further analysis or external applications. IDS.QuickAnnotator.Tool4.ConvertToJournal This module converts the annotated corpora into an internal journal format that is used for specific workflows and documentation purposes within the project. IDS.QuickAnnotator.Tool4.FindMatchSentences This tool can be used to find and compare matching sentences in different annotated corpora, which facilitates consistency checking and quality assurance. IDS.QuickAnnotator.Tool4.OnlyAnnotatedBy This analysis tool identifies annotations that were created exclusively by a specific annotator, thereby supporting the targeted evaluation of individual contributions and the review of annotation depth. IDS.QuickAnnotator.Tool4.RemoveAnnotator Enables annotations to be removed retrospectively, for example if an annotator is unavailable or data needs to be cleaned up. IDS.QuickAnnotator.Web The web version of the client is currently in beta and offers a modern, browser-based interface for annotation. It enables location-independent working and easy integration into existing workflows. All components are organized in separate subfolders and interact via clearly defined interfaces. The modular architecture allows for flexible expansion and adaptation to different requirements and corpus formats. This creates a scalable infrastructure that covers the entire process from text selection and conversion to annotation analysis and evaluation, ensuring high data quality and traceability.

Item

CEC6-Converter (2025-05-29)

(Rüdiger, Jan Oliver, 2025-05-29) Rüdiger, Jan Oliver

Diese Software erlaubt eine Konvertierung von *.cec6-Dateien in 24 Formate, die in der Korpuslinguistik / NLProc üblich sind. Die Ausführung ist unter allen modernen Betriebssystemen möglich (Windows, Linux, MacOS). Die Binärdateien wurden für die x64-Architektur kompiliert. Sollten Sie einen Prozessor (CPU) verwenden, der eine x86- oder ARM-Architektur hat, dann nutzen Sie bitte die Anleitung: andere Betriebssysteme bzw. x86 / ARM / ARM64. --- This software allows the conversion of *.cec6 files into 24 formats that are commonly used in corpus linguistics / NLProc. Execution is possible under all modern operating systems (Windows, Linux, MacOS). The binary files have been compiled for the x64 architecture. If you are using a processor (CPU) with x86 or ARM architecture, please use the instructions for "other operating systems or x86 / ARM / ARM64".

Item

LatinISE corpus (version 5)

(Lexical Computing, 2025-03-25) McGillivray, Barbara

The LatinISE corpus is a text corpus collected from the LacusCurtius, Intratext and Musisque Deoque websites. Corpus texts have rich metadata containing information as genre, title, century or specific date. This Latin corpus was built by Barbara McGillivray. In the version 5 of the corpus the author names and datings of texts before 600 CE have been manually corrected and duplicates of texts have been removed. Thanks to Valentina Lunardi for this data curation.

Item

SELEXINI corpus

(Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique, 2024-12-12) Scholivet, Manon; Savary, Agata; Estève, Louis Clément; Candito, Marie; Ramisch, Carlos

We present here a large automatically annotated corpus for French. This corpus is divided into two parts: the first from BigScience, and the second from HPLT. The annotated documents from HPLT were selected in order to optimise the lexical diversity of the final corpus SELEXINI.

Item

Ancillary Monitor Corpus: Common Crawl - german web (YEAR 2024 – VERSION 1)

(Rüdiger, Jan Oliver, 2024-12-03) Rüdiger, Jan Oliver

*** german version see below *** The ‘Ancillary Monitor Corpus: Common Crawl - german web’ was designed with the aim of enabling a broad-based linguistic analysis of the German-language (visible) internet over time - with the aim of achieving comparability with the DeReKo (‘German Reference Corpus’ of the Leibniz Institute for the German Language - DeReKo volume 57 billion tokens - status: DeReKo Release 2024-I). The corpus is separated by year (here year 2024) and versioned (here version 1). Version 1 comprises (all years 2013-2024) 97.45 billion tokens. The corpus is based on the data dumps from CommonCrawl (https://commoncrawl.org/). CommonCrawl is a non-profit organisation that provides copies of the visible Internet free of charge for research purposes. The CommonCrawl WET raw data was first filtered by TLD (top-level domain). Only pages ending in the following TLDs were taken into account: ‘.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich’. These are the exclusive German-language TLDs according to ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) as of 1 June 2024 - TLDs with a purely corporate reference (e.g. ‘.edeka; .bmw; .ford’) were excluded. The language of the individual documents (URLs) was then estimated with the help of NTextCat (https://github.com/ivanakcheurov/ntextcat) (via the CORE14 profile of NTextCat) - only those documents/URLs for which German was the most likely language were processed further (e.g. to exclude foreign-language material such as individual subpages). The third step involved filtering for manual selectors and filtering for 1:1 duplicates (within one year). The filtering and subsequent processing was carried out using CorpusExplorer (http://hdl.handle.net/11234/1-2634) and our own (supplementary) scripts, and the TreeTagger (http://hdl.handle.net/11372/LRT-323) was used for automatic annotation. The corpus was processed on the HELIX HPC cluster. The author would like to take this opportunity to thank the state of Baden-Württemberg and the German Research Foundation (DFG) for the possibility to use the bwHPC/HELIX HPC cluster - funding code HPC cluster: INST 35/1597-1 FUGG. Data content: - Tokens and record boundaries - Automatic lemma and POS annotation (using TreeTagger) - Metadata: - GUID - Unique identifier of the document - YEAR - Year of capture (please use this information for data slices) - Url - Full URL - Tld - Top-Level Domain - Domain - Domain without TLD (but with sub-domains if applicable) - DomainFull - Complete domain (incl. TLD) - DomainFull - Complete domain (incl. TLD) - Datum - (System Information): Date of the CorpusExplorer (date of capture by CommonCrawl - not date of creation/modification of the document). - Hash - (System Information): SHA1 hash of the CommonCrawl - Pfad - (System Information): Path of the cluster (raw data) - is supplied by the system. Please note that the files are saved as *.cec6.gz. These are binary files of the CorpusExplorer (see above). These files ensure efficient archiving. You can use both CorpusExplorer and the ‘CEC6-Converter’ (available for Linux, MacOS and Windows - see: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) to convert the data. The data can be exported in the following formats: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Please note that an export increases the storage space requirement extensively. The ‘CorpusExplorerConsole’ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - available for Linux, MacOS and Windows) also offers a simple solution for editing and analysing. If you have any questions, please contact the author. Legal information The data was downloaded on 01.11.2024. The use, processing and distribution is subject to §60d UrhG (german copyright law), which authorises the use for non-commercial purposes in research and teaching. LINDAT/CLARIN is responsible for long-term archiving in accordance with §69d para. 5 and ensures that only authorised persons can access the data. The data has been checked to the best of our knowledge and belief (on a random basis) - should you nevertheless find legal violations (e.g. right to be forgotten, personal rights, etc.), please write an e-mail to the author (amc_report@jan-oliver-ruediger.de) with the following information: 1) why this content is undesirable (please outline only briefly) and 2) how the content can be identified - e.g. file name, URL or domain, etc. The author will endeavour to identify the content. The author will endeavour to remove the content and re-upload the data (modified) within two weeks (new version). If you have any further questions, please contact CLARIN. *** english version see above *** Das ‚Ancillary Monitor Corpus: Common Crawl - german web‘ wurde mit dem Ziel konzipiert - eine breit angelegte und zeitlich begleitende linguistische Analyse des deutschsprachigen (sichtbaren) Internets zu ermöglichen - wobei eine Vergleichbarkeit mit dem DeReKo (‚Deutsches Referenz Korpus‘ des Leibniz-Instituts für Deutsche Sprache - DeReKo Umfang 57 Mrd. Token - Stand: DeReKo Release 2024-I) angestrebt wird. Das Korpus ist nach Jahren getrennt (hier Jahr 2024) und versioniert (hier Version 1). Die Version 1 umfasst (alle Jahre 2013-2024) 97,45 Mrd. Token. Das Korpus basiert auf den Daten-Dumps von CommonCrawl (https://commoncrawl.org/). CommonCrawl ist eine Non-Profit-Organisation, die Kopien des sichtbaren Internets kostenlos für die Forschung zur Verfügung stellt. Die CommonCrawl WET Rohdaten wurden zunächst nach TLD (Top-Level Domain) gefiltert. Es wurden nur Seiten berücksichtigt, die auf folgende TLDs enden: „.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich“. Dies sind die exklusiven deutschsprachigen TLDs laut ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) zum Stand 01.06.2024 - ausgeschlossen wurden TLDs mit reinem Firmenbezug (z.B. „.edeka; .bmw; .ford“). Für die einzelnen Dokumente (URLs) wurde dann mit Hilfe von NTextCat (https://github.com/ivanakcheurov/ntextcat) die Sprache geschätzt (über das CORE14-Profil von NTextCat) - es wurden nur solche Dokumente/URLs weiterverarbeitet, bei denen Deutsch die wahrscheinlichste Sprache war (z.B. um möglichst auszuschließen, dass fremdsprachiges Material wie einzelne Unterseitenbereiche enthalten sind). Als dritter Schritt erfolgte eine Filterung nach manuellen Selektoren und eine Filterung nach 1:1-Dubletten (innerhalb eines Jahres). Die Filterung und anschließende Aufbereitung erfolgte mit dem CorpusExplorer (http://hdl.handle.net/11234/1-2634) und eigenen (ergänzenden) Skripten, wobei für die automatische Annotation der TreeTagger (http://hdl.handle.net/11372/LRT-323) verwendet wurde. Die Aufbereitung des Korpus erfolgte auf dem HELIX-HPC-Cluster. Der Autor dankt an dieser Stelle dem Land Baden-Württemberg und der Deutschen Forschungsgemeinschaft (DFG) für die Möglichkeit das bwHPC/HELIX HPC-Cluster nutzen zu können – Förderkennzeichen HPC-Cluster: INST 35/1597-1 FUGG. Dateninhalt: - Token und Satzgrenzen - Automatische Lemma- und POS-Annotation (mittels TreeTagger) - Metadaten: - GUID - Eindeutiger Identifikator des Dokuments - YEAR - Jahr der Erfassung (bitte verwenden Sie diese Angabe für Datenschnitte) - Url - Vollständige URL - Tld – Top-Level Domain - Domain – Domain ohne TLD (aber ggf. mit Sub-Domains) - DomainFull – Vollständige Domain (inkl. TLD) - DomainFull - Komplette Domain (inkl. TLD) - Datum - (System Information): Datum des CorpusExplorers (Tag der Erfassung durch CommonCrawl - nicht Tag der Erstellung/Änderung des Dokuments). - Hash - (System Information): SHA1-Hash des CommonCrawl - Pfad - (System Information): Pfad des Clusters (Rohdaten) - wird systembedingt geliefert. Bitte beachten Sie, dass die Dateien als *.cec6.gz gespeichert sind. Dies sind Binärdateien des CorpusExplorers (siehe oben). Diese Dateien gewährleisten eine effiziente Archivierung. Sie können sowohl den CorpusExplorer als auch den ‚CEC6-Converter‘ (verfügbar für Linux, MacOS und Windows - siehe: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) zur Konvertierung der Daten verwenden. Die Daten können in folgende Formate exportiert werden: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Bitte beachten Sie, dass ein Export den Speicherplatzbedarf erheblich erhöht. Eine einfache Lösung zur Bearbeitung und Analyse bietet auch die „CorpusExplorerConsole“ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - verfügbar für Linux, MacOS und Windows). Bei Fragen wenden Sie sich bitte an den Autor. Rechtliche Hinweise Die Daten wurden am 01.11.2024 heruntergeladen. Die Nutzung, Verarbeitung und Verbreitung unterliegt §60d UrhG, der die Nutzung für nicht kommerzielle Zwecke in Forschung und Lehre erlaubt. LINDAT/CLARIN übernimmt die Langzeitarchivierung nach §69d Abs. 5 und stellt sicher, dass nur berechtigte Personen auf die Daten zugreifen können. Die Daten wurden nach bestem Wissen und Gewissen (stichprobenartig) überprüft - sollten Sie dennoch Rechtsverletzungen (z.B. Recht auf Vergessenwerden, Persönlichkeitsrechte etc.) finden, schreiben Sie bitte eine E-Mail an den Autor (amc_report@jan-oliver-ruediger.de) mit folgenden Informationen: 1) warum dieser Inhalt unerwünscht ist (bitte nur kurz skizzieren) und 2) wie der Inhalt identifiziert werden kann - z.B. Dateiname, URL oder Domain etc. Der Autor wird sich bemühen, den Inhalt zu entfernen und die Daten innerhalb von zwei Wochen (verändert) wieder hochzuladen (neue Version). Bei weiteren Fragen wenden Sie sich bitte an CLARIN.

Item

Ancillary Monitor Corpus: Common Crawl - german web (YEAR 2023 – VERSION 1)

(Rüdiger, Jan Oliver, 2024-12-03) Rüdiger, Jan Oliver

*** german version see below *** The ‘Ancillary Monitor Corpus: Common Crawl - german web’ was designed with the aim of enabling a broad-based linguistic analysis of the German-language (visible) internet over time - with the aim of achieving comparability with the DeReKo (‘German Reference Corpus’ of the Leibniz Institute for the German Language - DeReKo volume 57 billion tokens - status: DeReKo Release 2024-I). The corpus is separated by year (here year 2023) and versioned (here version 1). Version 1 comprises (all years 2013-2024) 97.45 billion tokens. The corpus is based on the data dumps from CommonCrawl (https://commoncrawl.org/). CommonCrawl is a non-profit organisation that provides copies of the visible Internet free of charge for research purposes. The CommonCrawl WET raw data was first filtered by TLD (top-level domain). Only pages ending in the following TLDs were taken into account: ‘.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich’. These are the exclusive German-language TLDs according to ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) as of 1 June 2024 - TLDs with a purely corporate reference (e.g. ‘.edeka; .bmw; .ford’) were excluded. The language of the individual documents (URLs) was then estimated with the help of NTextCat (https://github.com/ivanakcheurov/ntextcat) (via the CORE14 profile of NTextCat) - only those documents/URLs for which German was the most likely language were processed further (e.g. to exclude foreign-language material such as individual subpages). The third step involved filtering for manual selectors and filtering for 1:1 duplicates (within one year). The filtering and subsequent processing was carried out using CorpusExplorer (http://hdl.handle.net/11234/1-2634) and our own (supplementary) scripts, and the TreeTagger (http://hdl.handle.net/11372/LRT-323) was used for automatic annotation. The corpus was processed on the HELIX HPC cluster. The author would like to take this opportunity to thank the state of Baden-Württemberg and the German Research Foundation (DFG) for the possibility to use the bwHPC/HELIX HPC cluster - funding code HPC cluster: INST 35/1597-1 FUGG. Data content: - Tokens and record boundaries - Automatic lemma and POS annotation (using TreeTagger) - Metadata: - GUID - Unique identifier of the document - YEAR - Year of capture (please use this information for data slices) - Url - Full URL - Tld - Top-Level Domain - Domain - Domain without TLD (but with sub-domains if applicable) - DomainFull - Complete domain (incl. TLD) - DomainFull - Complete domain (incl. TLD) - Datum - (System Information): Date of the CorpusExplorer (date of capture by CommonCrawl - not date of creation/modification of the document). - Hash - (System Information): SHA1 hash of the CommonCrawl - Pfad - (System Information): Path of the cluster (raw data) - is supplied by the system. Please note that the files are saved as *.cec6.gz. These are binary files of the CorpusExplorer (see above). These files ensure efficient archiving. You can use both CorpusExplorer and the ‘CEC6-Converter’ (available for Linux, MacOS and Windows - see: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) to convert the data. The data can be exported in the following formats: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Please note that an export increases the storage space requirement extensively. The ‘CorpusExplorerConsole’ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - available for Linux, MacOS and Windows) also offers a simple solution for editing and analysing. If you have any questions, please contact the author. Legal information The data was downloaded on 01.11.2024. The use, processing and distribution is subject to §60d UrhG (german copyright law), which authorises the use for non-commercial purposes in research and teaching. LINDAT/CLARIN is responsible for long-term archiving in accordance with §69d para. 5 and ensures that only authorised persons can access the data. The data has been checked to the best of our knowledge and belief (on a random basis) - should you nevertheless find legal violations (e.g. right to be forgotten, personal rights, etc.), please write an e-mail to the author (amc_report@jan-oliver-ruediger.de) with the following information: 1) why this content is undesirable (please outline only briefly) and 2) how the content can be identified - e.g. file name, URL or domain, etc. The author will endeavour to identify the content. The author will endeavour to remove the content and re-upload the data (modified) within two weeks (new version). If you have any further questions, please contact CLARIN. *** english version see above *** Das ‚Ancillary Monitor Corpus: Common Crawl - german web‘ wurde mit dem Ziel konzipiert - eine breit angelegte und zeitlich begleitende linguistische Analyse des deutschsprachigen (sichtbaren) Internets zu ermöglichen - wobei eine Vergleichbarkeit mit dem DeReKo (‚Deutsches Referenz Korpus‘ des Leibniz-Instituts für Deutsche Sprache - DeReKo Umfang 57 Mrd. Token - Stand: DeReKo Release 2024-I) angestrebt wird. Das Korpus ist nach Jahren getrennt (hier Jahr 2023) und versioniert (hier Version 1). Die Version 1 umfasst (alle Jahre 2013-2024) 97,45 Mrd. Token. Das Korpus basiert auf den Daten-Dumps von CommonCrawl (https://commoncrawl.org/). CommonCrawl ist eine Non-Profit-Organisation, die Kopien des sichtbaren Internets kostenlos für die Forschung zur Verfügung stellt. Die CommonCrawl WET Rohdaten wurden zunächst nach TLD (Top-Level Domain) gefiltert. Es wurden nur Seiten berücksichtigt, die auf folgende TLDs enden: „.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich“. Dies sind die exklusiven deutschsprachigen TLDs laut ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) zum Stand 01.06.2024 - ausgeschlossen wurden TLDs mit reinem Firmenbezug (z.B. „.edeka; .bmw; .ford“). Für die einzelnen Dokumente (URLs) wurde dann mit Hilfe von NTextCat (https://github.com/ivanakcheurov/ntextcat) die Sprache geschätzt (über das CORE14-Profil von NTextCat) - es wurden nur solche Dokumente/URLs weiterverarbeitet, bei denen Deutsch die wahrscheinlichste Sprache war (z.B. um möglichst auszuschließen, dass fremdsprachiges Material wie einzelne Unterseitenbereiche enthalten sind). Als dritter Schritt erfolgte eine Filterung nach manuellen Selektoren und eine Filterung nach 1:1-Dubletten (innerhalb eines Jahres). Die Filterung und anschließende Aufbereitung erfolgte mit dem CorpusExplorer (http://hdl.handle.net/11234/1-2634) und eigenen (ergänzenden) Skripten, wobei für die automatische Annotation der TreeTagger (http://hdl.handle.net/11372/LRT-323) verwendet wurde. Die Aufbereitung des Korpus erfolgte auf dem HELIX-HPC-Cluster. Der Autor dankt an dieser Stelle dem Land Baden-Württemberg und der Deutschen Forschungsgemeinschaft (DFG) für die Möglichkeit das bwHPC/HELIX HPC-Cluster nutzen zu können – Förderkennzeichen HPC-Cluster: INST 35/1597-1 FUGG. Dateninhalt: - Token und Satzgrenzen - Automatische Lemma- und POS-Annotation (mittels TreeTagger) - Metadaten: - GUID - Eindeutiger Identifikator des Dokuments - YEAR - Jahr der Erfassung (bitte verwenden Sie diese Angabe für Datenschnitte) - Url - Vollständige URL - Tld – Top-Level Domain - Domain – Domain ohne TLD (aber ggf. mit Sub-Domains) - DomainFull – Vollständige Domain (inkl. TLD) - DomainFull - Komplette Domain (inkl. TLD) - Datum - (System Information): Datum des CorpusExplorers (Tag der Erfassung durch CommonCrawl - nicht Tag der Erstellung/Änderung des Dokuments). - Hash - (System Information): SHA1-Hash des CommonCrawl - Pfad - (System Information): Pfad des Clusters (Rohdaten) - wird systembedingt geliefert. Bitte beachten Sie, dass die Dateien als *.cec6.gz gespeichert sind. Dies sind Binärdateien des CorpusExplorers (siehe oben). Diese Dateien gewährleisten eine effiziente Archivierung. Sie können sowohl den CorpusExplorer als auch den ‚CEC6-Converter‘ (verfügbar für Linux, MacOS und Windows - siehe: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) zur Konvertierung der Daten verwenden. Die Daten können in folgende Formate exportiert werden: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Bitte beachten Sie, dass ein Export den Speicherplatzbedarf erheblich erhöht. Eine einfache Lösung zur Bearbeitung und Analyse bietet auch die „CorpusExplorerConsole“ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - verfügbar für Linux, MacOS und Windows). Bei Fragen wenden Sie sich bitte an den Autor. Rechtliche Hinweise Die Daten wurden am 01.11.2024 heruntergeladen. Die Nutzung, Verarbeitung und Verbreitung unterliegt §60d UrhG, der die Nutzung für nicht kommerzielle Zwecke in Forschung und Lehre erlaubt. LINDAT/CLARIN übernimmt die Langzeitarchivierung nach §69d Abs. 5 und stellt sicher, dass nur berechtigte Personen auf die Daten zugreifen können. Die Daten wurden nach bestem Wissen und Gewissen (stichprobenartig) überprüft - sollten Sie dennoch Rechtsverletzungen (z.B. Recht auf Vergessenwerden, Persönlichkeitsrechte etc.) finden, schreiben Sie bitte eine E-Mail an den Autor (amc_report@jan-oliver-ruediger.de) mit folgenden Informationen: 1) warum dieser Inhalt unerwünscht ist (bitte nur kurz skizzieren) und 2) wie der Inhalt identifiziert werden kann - z.B. Dateiname, URL oder Domain etc. Der Autor wird sich bemühen, den Inhalt zu entfernen und die Daten innerhalb von zwei Wochen (verändert) wieder hochzuladen (neue Version). Bei weiteren Fragen wenden Sie sich bitte an CLARIN.

Item

Ancillary Monitor Corpus: Common Crawl - german web (YEAR 2021 – VERSION 1)

(Rüdiger, Jan Oliver, 2024-12-03) Rüdiger, Jan Oliver

*** german version see below *** The ‘Ancillary Monitor Corpus: Common Crawl - german web’ was designed with the aim of enabling a broad-based linguistic analysis of the German-language (visible) internet over time - with the aim of achieving comparability with the DeReKo (‘German Reference Corpus’ of the Leibniz Institute for the German Language - DeReKo volume 57 billion tokens - status: DeReKo Release 2024-I). The corpus is separated by year (here year 2021) and versioned (here version 1). Version 1 comprises (all years 2013-2024) 97.45 billion tokens. The corpus is based on the data dumps from CommonCrawl (https://commoncrawl.org/). CommonCrawl is a non-profit organisation that provides copies of the visible Internet free of charge for research purposes. The CommonCrawl WET raw data was first filtered by TLD (top-level domain). Only pages ending in the following TLDs were taken into account: ‘.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich’. These are the exclusive German-language TLDs according to ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) as of 1 June 2024 - TLDs with a purely corporate reference (e.g. ‘.edeka; .bmw; .ford’) were excluded. The language of the individual documents (URLs) was then estimated with the help of NTextCat (https://github.com/ivanakcheurov/ntextcat) (via the CORE14 profile of NTextCat) - only those documents/URLs for which German was the most likely language were processed further (e.g. to exclude foreign-language material such as individual subpages). The third step involved filtering for manual selectors and filtering for 1:1 duplicates (within one year). The filtering and subsequent processing was carried out using CorpusExplorer (http://hdl.handle.net/11234/1-2634) and our own (supplementary) scripts, and the TreeTagger (http://hdl.handle.net/11372/LRT-323) was used for automatic annotation. The corpus was processed on the HELIX HPC cluster. The author would like to take this opportunity to thank the state of Baden-Württemberg and the German Research Foundation (DFG) for the possibility to use the bwHPC/HELIX HPC cluster - funding code HPC cluster: INST 35/1597-1 FUGG. Data content: - Tokens and record boundaries - Automatic lemma and POS annotation (using TreeTagger) - Metadata: - GUID - Unique identifier of the document - YEAR - Year of capture (please use this information for data slices) - Url - Full URL - Tld - Top-Level Domain - Domain - Domain without TLD (but with sub-domains if applicable) - DomainFull - Complete domain (incl. TLD) - DomainFull - Complete domain (incl. TLD) - Datum - (System Information): Date of the CorpusExplorer (date of capture by CommonCrawl - not date of creation/modification of the document). - Hash - (System Information): SHA1 hash of the CommonCrawl - Pfad - (System Information): Path of the cluster (raw data) - is supplied by the system. Please note that the files are saved as *.cec6.gz. These are binary files of the CorpusExplorer (see above). These files ensure efficient archiving. You can use both CorpusExplorer and the ‘CEC6-Converter’ (available for Linux, MacOS and Windows - see: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) to convert the data. The data can be exported in the following formats: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Please note that an export increases the storage space requirement extensively. The ‘CorpusExplorerConsole’ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - available for Linux, MacOS and Windows) also offers a simple solution for editing and analysing. If you have any questions, please contact the author. Legal information The data was downloaded on 01.11.2024. The use, processing and distribution is subject to §60d UrhG (german copyright law), which authorises the use for non-commercial purposes in research and teaching. LINDAT/CLARIN is responsible for long-term archiving in accordance with §69d para. 5 and ensures that only authorised persons can access the data. The data has been checked to the best of our knowledge and belief (on a random basis) - should you nevertheless find legal violations (e.g. right to be forgotten, personal rights, etc.), please write an e-mail to the author (amc_report@jan-oliver-ruediger.de) with the following information: 1) why this content is undesirable (please outline only briefly) and 2) how the content can be identified - e.g. file name, URL or domain, etc. The author will endeavour to identify the content. The author will endeavour to remove the content and re-upload the data (modified) within two weeks (new version). If you have any further questions, please contact CLARIN. *** english version see above *** Das ‚Ancillary Monitor Corpus: Common Crawl - german web‘ wurde mit dem Ziel konzipiert - eine breit angelegte und zeitlich begleitende linguistische Analyse des deutschsprachigen (sichtbaren) Internets zu ermöglichen - wobei eine Vergleichbarkeit mit dem DeReKo (‚Deutsches Referenz Korpus‘ des Leibniz-Instituts für Deutsche Sprache - DeReKo Umfang 57 Mrd. Token - Stand: DeReKo Release 2024-I) angestrebt wird. Das Korpus ist nach Jahren getrennt (hier Jahr 2021) und versioniert (hier Version 1). Die Version 1 umfasst (alle Jahre 2013-2024) 97,45 Mrd. Token. Das Korpus basiert auf den Daten-Dumps von CommonCrawl (https://commoncrawl.org/). CommonCrawl ist eine Non-Profit-Organisation, die Kopien des sichtbaren Internets kostenlos für die Forschung zur Verfügung stellt. Die CommonCrawl WET Rohdaten wurden zunächst nach TLD (Top-Level Domain) gefiltert. Es wurden nur Seiten berücksichtigt, die auf folgende TLDs enden: „.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich“. Dies sind die exklusiven deutschsprachigen TLDs laut ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) zum Stand 01.06.2024 - ausgeschlossen wurden TLDs mit reinem Firmenbezug (z.B. „.edeka; .bmw; .ford“). Für die einzelnen Dokumente (URLs) wurde dann mit Hilfe von NTextCat (https://github.com/ivanakcheurov/ntextcat) die Sprache geschätzt (über das CORE14-Profil von NTextCat) - es wurden nur solche Dokumente/URLs weiterverarbeitet, bei denen Deutsch die wahrscheinlichste Sprache war (z.B. um möglichst auszuschließen, dass fremdsprachiges Material wie einzelne Unterseitenbereiche enthalten sind). Als dritter Schritt erfolgte eine Filterung nach manuellen Selektoren und eine Filterung nach 1:1-Dubletten (innerhalb eines Jahres). Die Filterung und anschließende Aufbereitung erfolgte mit dem CorpusExplorer (http://hdl.handle.net/11234/1-2634) und eigenen (ergänzenden) Skripten, wobei für die automatische Annotation der TreeTagger (http://hdl.handle.net/11372/LRT-323) verwendet wurde. Die Aufbereitung des Korpus erfolgte auf dem HELIX-HPC-Cluster. Der Autor dankt an dieser Stelle dem Land Baden-Württemberg und der Deutschen Forschungsgemeinschaft (DFG) für die Möglichkeit das bwHPC/HELIX HPC-Cluster nutzen zu können – Förderkennzeichen HPC-Cluster: INST 35/1597-1 FUGG. Dateninhalt: - Token und Satzgrenzen - Automatische Lemma- und POS-Annotation (mittels TreeTagger) - Metadaten: - GUID - Eindeutiger Identifikator des Dokuments - YEAR - Jahr der Erfassung (bitte verwenden Sie diese Angabe für Datenschnitte) - Url - Vollständige URL - Tld – Top-Level Domain - Domain – Domain ohne TLD (aber ggf. mit Sub-Domains) - DomainFull – Vollständige Domain (inkl. TLD) - DomainFull - Komplette Domain (inkl. TLD) - Datum - (System Information): Datum des CorpusExplorers (Tag der Erfassung durch CommonCrawl - nicht Tag der Erstellung/Änderung des Dokuments). - Hash - (System Information): SHA1-Hash des CommonCrawl - Pfad - (System Information): Pfad des Clusters (Rohdaten) - wird systembedingt geliefert. Bitte beachten Sie, dass die Dateien als *.cec6.gz gespeichert sind. Dies sind Binärdateien des CorpusExplorers (siehe oben). Diese Dateien gewährleisten eine effiziente Archivierung. Sie können sowohl den CorpusExplorer als auch den ‚CEC6-Converter‘ (verfügbar für Linux, MacOS und Windows - siehe: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) zur Konvertierung der Daten verwenden. Die Daten können in folgende Formate exportiert werden: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Bitte beachten Sie, dass ein Export den Speicherplatzbedarf erheblich erhöht. Eine einfache Lösung zur Bearbeitung und Analyse bietet auch die „CorpusExplorerConsole“ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - verfügbar für Linux, MacOS und Windows). Bei Fragen wenden Sie sich bitte an den Autor. Rechtliche Hinweise Die Daten wurden am 01.11.2024 heruntergeladen. Die Nutzung, Verarbeitung und Verbreitung unterliegt §60d UrhG, der die Nutzung für nicht kommerzielle Zwecke in Forschung und Lehre erlaubt. LINDAT/CLARIN übernimmt die Langzeitarchivierung nach §69d Abs. 5 und stellt sicher, dass nur berechtigte Personen auf die Daten zugreifen können. Die Daten wurden nach bestem Wissen und Gewissen (stichprobenartig) überprüft - sollten Sie dennoch Rechtsverletzungen (z.B. Recht auf Vergessenwerden, Persönlichkeitsrechte etc.) finden, schreiben Sie bitte eine E-Mail an den Autor (amc_report@jan-oliver-ruediger.de) mit folgenden Informationen: 1) warum dieser Inhalt unerwünscht ist (bitte nur kurz skizzieren) und 2) wie der Inhalt identifiziert werden kann - z.B. Dateiname, URL oder Domain etc. Der Autor wird sich bemühen, den Inhalt zu entfernen und die Daten innerhalb von zwei Wochen (verändert) wieder hochzuladen (neue Version). Bei weiteren Fragen wenden Sie sich bitte an CLARIN.

Item

Ancillary Monitor Corpus: Common Crawl - german web (YEAR 2019 – VERSION 1)

(Rüdiger, Jan Oliver, 2024-11-26) Rüdiger, Jan Oliver

*** german version see below *** The ‘Ancillary Monitor Corpus: Common Crawl - german web’ was designed with the aim of enabling a broad-based linguistic analysis of the German-language (visible) internet over time - with the aim of achieving comparability with the DeReKo (‘German Reference Corpus’ of the Leibniz Institute for the German Language - DeReKo volume 57 billion tokens - status: DeReKo Release 2024-I). The corpus is separated by year (here year 2019) and versioned (here version 1). Version 1 comprises (all years 2013-2024) 97.45 billion tokens. The corpus is based on the data dumps from CommonCrawl (https://commoncrawl.org/). CommonCrawl is a non-profit organisation that provides copies of the visible Internet free of charge for research purposes. The CommonCrawl WET raw data was first filtered by TLD (top-level domain). Only pages ending in the following TLDs were taken into account: ‘.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich’. These are the exclusive German-language TLDs according to ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) as of 1 June 2024 - TLDs with a purely corporate reference (e.g. ‘.edeka; .bmw; .ford’) were excluded. The language of the individual documents (URLs) was then estimated with the help of NTextCat (https://github.com/ivanakcheurov/ntextcat) (via the CORE14 profile of NTextCat) - only those documents/URLs for which German was the most likely language were processed further (e.g. to exclude foreign-language material such as individual subpages). The third step involved filtering for manual selectors and filtering for 1:1 duplicates (within one year). The filtering and subsequent processing was carried out using CorpusExplorer (http://hdl.handle.net/11234/1-2634) and our own (supplementary) scripts, and the TreeTagger (http://hdl.handle.net/11372/LRT-323) was used for automatic annotation. The corpus was processed on the HELIX HPC cluster. The author would like to take this opportunity to thank the state of Baden-Württemberg and the German Research Foundation (DFG) for the possibility to use the bwHPC/HELIX HPC cluster - funding code HPC cluster: INST 35/1597-1 FUGG. Data content: - Tokens and record boundaries - Automatic lemma and POS annotation (using TreeTagger) - Metadata: - GUID - Unique identifier of the document - YEAR - Year of capture (please use this information for data slices) - Url - Full URL - Tld - Top-Level Domain - Domain - Domain without TLD (but with sub-domains if applicable) - DomainFull - Complete domain (incl. TLD) - DomainFull - Complete domain (incl. TLD) - Datum - (System Information): Date of the CorpusExplorer (date of capture by CommonCrawl - not date of creation/modification of the document). - Hash - (System Information): SHA1 hash of the CommonCrawl - Pfad - (System Information): Path of the cluster (raw data) - is supplied by the system. Please note that the files are saved as *.cec6.gz. These are binary files of the CorpusExplorer (see above). These files ensure efficient archiving. You can use both CorpusExplorer and the ‘CEC6-Converter’ (available for Linux, MacOS and Windows - see: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) to convert the data. The data can be exported in the following formats: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Please note that an export increases the storage space requirement extensively. The ‘CorpusExplorerConsole’ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - available for Linux, MacOS and Windows) also offers a simple solution for editing and analysing. If you have any questions, please contact the author. Legal information The data was downloaded on 01.11.2024. The use, processing and distribution is subject to §60d UrhG (german copyright law), which authorises the use for non-commercial purposes in research and teaching. LINDAT/CLARIN is responsible for long-term archiving in accordance with §69d para. 5 and ensures that only authorised persons can access the data. The data has been checked to the best of our knowledge and belief (on a random basis) - should you nevertheless find legal violations (e.g. right to be forgotten, personal rights, etc.), please write an e-mail to the author (amc_report@jan-oliver-ruediger.de) with the following information: 1) why this content is undesirable (please outline only briefly) and 2) how the content can be identified - e.g. file name, URL or domain, etc. The author will endeavour to identify the content. The author will endeavour to remove the content and re-upload the data (modified) within two weeks (new version). If you have any further questions, please contact CLARIN. *** english version see above *** Das ‚Ancillary Monitor Corpus: Common Crawl - german web‘ wurde mit dem Ziel konzipiert - eine breit angelegte und zeitlich begleitende linguistische Analyse des deutschsprachigen (sichtbaren) Internets zu ermöglichen - wobei eine Vergleichbarkeit mit dem DeReKo (‚Deutsches Referenz Korpus‘ des Leibniz-Instituts für Deutsche Sprache - DeReKo Umfang 57 Mrd. Token - Stand: DeReKo Release 2024-I) angestrebt wird. Das Korpus ist nach Jahren getrennt (hier Jahr 2019) und versioniert (hier Version 1). Die Version 1 umfasst (alle Jahre 2013-2024) 97,45 Mrd. Token. Das Korpus basiert auf den Daten-Dumps von CommonCrawl (https://commoncrawl.org/). CommonCrawl ist eine Non-Profit-Organisation, die Kopien des sichtbaren Internets kostenlos für die Forschung zur Verfügung stellt. Die CommonCrawl WET Rohdaten wurden zunächst nach TLD (Top-Level Domain) gefiltert. Es wurden nur Seiten berücksichtigt, die auf folgende TLDs enden: „.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich“. Dies sind die exklusiven deutschsprachigen TLDs laut ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) zum Stand 01.06.2024 - ausgeschlossen wurden TLDs mit reinem Firmenbezug (z.B. „.edeka; .bmw; .ford“). Für die einzelnen Dokumente (URLs) wurde dann mit Hilfe von NTextCat (https://github.com/ivanakcheurov/ntextcat) die Sprache geschätzt (über das CORE14-Profil von NTextCat) - es wurden nur solche Dokumente/URLs weiterverarbeitet, bei denen Deutsch die wahrscheinlichste Sprache war (z.B. um möglichst auszuschließen, dass fremdsprachiges Material wie einzelne Unterseitenbereiche enthalten sind). Als dritter Schritt erfolgte eine Filterung nach manuellen Selektoren und eine Filterung nach 1:1-Dubletten (innerhalb eines Jahres). Die Filterung und anschließende Aufbereitung erfolgte mit dem CorpusExplorer (http://hdl.handle.net/11234/1-2634) und eigenen (ergänzenden) Skripten, wobei für die automatische Annotation der TreeTagger (http://hdl.handle.net/11372/LRT-323) verwendet wurde. Die Aufbereitung des Korpus erfolgte auf dem HELIX-HPC-Cluster. Der Autor dankt an dieser Stelle dem Land Baden-Württemberg und der Deutschen Forschungsgemeinschaft (DFG) für die Möglichkeit das bwHPC/HELIX HPC-Cluster nutzen zu können – Förderkennzeichen HPC-Cluster: INST 35/1597-1 FUGG. Dateninhalt: - Token und Satzgrenzen - Automatische Lemma- und POS-Annotation (mittels TreeTagger) - Metadaten: - GUID - Eindeutiger Identifikator des Dokuments - YEAR - Jahr der Erfassung (bitte verwenden Sie diese Angabe für Datenschnitte) - Url - Vollständige URL - Tld – Top-Level Domain - Domain – Domain ohne TLD (aber ggf. mit Sub-Domains) - DomainFull – Vollständige Domain (inkl. TLD) - DomainFull - Komplette Domain (inkl. TLD) - Datum - (System Information): Datum des CorpusExplorers (Tag der Erfassung durch CommonCrawl - nicht Tag der Erstellung/Änderung des Dokuments). - Hash - (System Information): SHA1-Hash des CommonCrawl - Pfad - (System Information): Pfad des Clusters (Rohdaten) - wird systembedingt geliefert. Bitte beachten Sie, dass die Dateien als *.cec6.gz gespeichert sind. Dies sind Binärdateien des CorpusExplorers (siehe oben). Diese Dateien gewährleisten eine effiziente Archivierung. Sie können sowohl den CorpusExplorer als auch den ‚CEC6-Converter‘ (verfügbar für Linux, MacOS und Windows - siehe: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) zur Konvertierung der Daten verwenden. Die Daten können in folgende Formate exportiert werden: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Bitte beachten Sie, dass ein Export den Speicherplatzbedarf erheblich erhöht. Eine einfache Lösung zur Bearbeitung und Analyse bietet auch die „CorpusExplorerConsole“ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - verfügbar für Linux, MacOS und Windows). Bei Fragen wenden Sie sich bitte an den Autor. Rechtliche Hinweise Die Daten wurden am 01.11.2024 heruntergeladen. Die Nutzung, Verarbeitung und Verbreitung unterliegt §60d UrhG, der die Nutzung für nicht kommerzielle Zwecke in Forschung und Lehre erlaubt. LINDAT/CLARIN übernimmt die Langzeitarchivierung nach §69d Abs. 5 und stellt sicher, dass nur berechtigte Personen auf die Daten zugreifen können. Die Daten wurden nach bestem Wissen und Gewissen (stichprobenartig) überprüft - sollten Sie dennoch Rechtsverletzungen (z.B. Recht auf Vergessenwerden, Persönlichkeitsrechte etc.) finden, schreiben Sie bitte eine E-Mail an den Autor (amc_report@jan-oliver-ruediger.de) mit folgenden Informationen: 1) warum dieser Inhalt unerwünscht ist (bitte nur kurz skizzieren) und 2) wie der Inhalt identifiziert werden kann - z.B. Dateiname, URL oder Domain etc. Der Autor wird sich bemühen, den Inhalt zu entfernen und die Daten innerhalb von zwei Wochen (verändert) wieder hochzuladen (neue Version). Bei weiteren Fragen wenden Sie sich bitte an CLARIN.

Item

Ancillary Monitor Corpus: Common Crawl - german web (YEAR 2022 – VERSION 1)

(Rüdiger, Jan Oliver, 2024-11-21) Rüdiger, Jan Oliver

*** german version see below *** The ‘Ancillary Monitor Corpus: Common Crawl - german web’ was designed with the aim of enabling a broad-based linguistic analysis of the German-language (visible) internet over time - with the aim of achieving comparability with the DeReKo (‘German Reference Corpus’ of the Leibniz Institute for the German Language - DeReKo volume 57 billion tokens - status: DeReKo Release 2024-I). The corpus is separated by year (here year 2022) and versioned (here version 1). Version 1 comprises (all years 2013-2024) 97.45 billion tokens. The corpus is based on the data dumps from CommonCrawl (https://commoncrawl.org/). CommonCrawl is a non-profit organisation that provides copies of the visible Internet free of charge for research purposes. The CommonCrawl WET raw data was first filtered by TLD (top-level domain). Only pages ending in the following TLDs were taken into account: ‘.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich’. These are the exclusive German-language TLDs according to ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) as of 1 June 2024 - TLDs with a purely corporate reference (e.g. ‘.edeka; .bmw; .ford’) were excluded. The language of the individual documents (URLs) was then estimated with the help of NTextCat (https://github.com/ivanakcheurov/ntextcat) (via the CORE14 profile of NTextCat) - only those documents/URLs for which German was the most likely language were processed further (e.g. to exclude foreign-language material such as individual subpages). The third step involved filtering for manual selectors and filtering for 1:1 duplicates (within one year). The filtering and subsequent processing was carried out using CorpusExplorer (http://hdl.handle.net/11234/1-2634) and our own (supplementary) scripts, and the TreeTagger (http://hdl.handle.net/11372/LRT-323) was used for automatic annotation. The corpus was processed on the HELIX HPC cluster. The author would like to take this opportunity to thank the state of Baden-Württemberg and the German Research Foundation (DFG) for the possibility to use the bwHPC/HELIX HPC cluster - funding code HPC cluster: INST 35/1597-1 FUGG. Data content: - Tokens and record boundaries - Automatic lemma and POS annotation (using TreeTagger) - Metadata: - GUID - Unique identifier of the document - YEAR - Year of capture (please use this information for data slices) - Url - Full URL - Tld - Top-Level Domain - Domain - Domain without TLD (but with sub-domains if applicable) - DomainFull - Complete domain (incl. TLD) - DomainFull - Complete domain (incl. TLD) - Datum - (System Information): Date of the CorpusExplorer (date of capture by CommonCrawl - not date of creation/modification of the document). - Hash - (System Information): SHA1 hash of the CommonCrawl - Pfad - (System Information): Path of the cluster (raw data) - is supplied by the system. Please note that the files are saved as *.cec6.gz. These are binary files of the CorpusExplorer (see above). These files ensure efficient archiving. You can use both CorpusExplorer and the ‘CEC6-Converter’ (available for Linux, MacOS and Windows - see: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) to convert the data. The data can be exported in the following formats: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Please note that an export increases the storage space requirement extensively. The ‘CorpusExplorerConsole’ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - available for Linux, MacOS and Windows) also offers a simple solution for editing and analysing. If you have any questions, please contact the author. Legal information The data was downloaded on 01.11.2024. The use, processing and distribution is subject to §60d UrhG (german copyright law), which authorises the use for non-commercial purposes in research and teaching. LINDAT/CLARIN is responsible for long-term archiving in accordance with §69d para. 5 and ensures that only authorised persons can access the data. The data has been checked to the best of our knowledge and belief (on a random basis) - should you nevertheless find legal violations (e.g. right to be forgotten, personal rights, etc.), please write an e-mail to the author (amc_report@jan-oliver-ruediger.de) with the following information: 1) why this content is undesirable (please outline only briefly) and 2) how the content can be identified - e.g. file name, URL or domain, etc. The author will endeavour to identify the content. The author will endeavour to remove the content and re-upload the data (modified) within two weeks (new version). If you have any further questions, please contact CLARIN. *** english version see above *** Das ‚Ancillary Monitor Corpus: Common Crawl - german web‘ wurde mit dem Ziel konzipiert - eine breit angelegte und zeitlich begleitende linguistische Analyse des deutschsprachigen (sichtbaren) Internets zu ermöglichen - wobei eine Vergleichbarkeit mit dem DeReKo (‚Deutsches Referenz Korpus‘ des Leibniz-Instituts für Deutsche Sprache - DeReKo Umfang 57 Mrd. Token - Stand: DeReKo Release 2024-I) angestrebt wird. Das Korpus ist nach Jahren getrennt (hier Jahr 2022) und versioniert (hier Version 1). Die Version 1 umfasst (alle Jahre 2013-2024) 97,45 Mrd. Token. Das Korpus basiert auf den Daten-Dumps von CommonCrawl (https://commoncrawl.org/). CommonCrawl ist eine Non-Profit-Organisation, die Kopien des sichtbaren Internets kostenlos für die Forschung zur Verfügung stellt. Die CommonCrawl WET Rohdaten wurden zunächst nach TLD (Top-Level Domain) gefiltert. Es wurden nur Seiten berücksichtigt, die auf folgende TLDs enden: „.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich“. Dies sind die exklusiven deutschsprachigen TLDs laut ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) zum Stand 01.06.2024 - ausgeschlossen wurden TLDs mit reinem Firmenbezug (z.B. „.edeka; .bmw; .ford“). Für die einzelnen Dokumente (URLs) wurde dann mit Hilfe von NTextCat (https://github.com/ivanakcheurov/ntextcat) die Sprache geschätzt (über das CORE14-Profil von NTextCat) - es wurden nur solche Dokumente/URLs weiterverarbeitet, bei denen Deutsch die wahrscheinlichste Sprache war (z.B. um möglichst auszuschließen, dass fremdsprachiges Material wie einzelne Unterseitenbereiche enthalten sind). Als dritter Schritt erfolgte eine Filterung nach manuellen Selektoren und eine Filterung nach 1:1-Dubletten (innerhalb eines Jahres). Die Filterung und anschließende Aufbereitung erfolgte mit dem CorpusExplorer (http://hdl.handle.net/11234/1-2634) und eigenen (ergänzenden) Skripten, wobei für die automatische Annotation der TreeTagger (http://hdl.handle.net/11372/LRT-323) verwendet wurde. Die Aufbereitung des Korpus erfolgte auf dem HELIX-HPC-Cluster. Der Autor dankt an dieser Stelle dem Land Baden-Württemberg und der Deutschen Forschungsgemeinschaft (DFG) für die Möglichkeit das bwHPC/HELIX HPC-Cluster nutzen zu können – Förderkennzeichen HPC-Cluster: INST 35/1597-1 FUGG. Dateninhalt: - Token und Satzgrenzen - Automatische Lemma- und POS-Annotation (mittels TreeTagger) - Metadaten: - GUID - Eindeutiger Identifikator des Dokuments - YEAR - Jahr der Erfassung (bitte verwenden Sie diese Angabe für Datenschnitte) - Url - Vollständige URL - Tld – Top-Level Domain - Domain – Domain ohne TLD (aber ggf. mit Sub-Domains) - DomainFull – Vollständige Domain (inkl. TLD) - DomainFull - Komplette Domain (inkl. TLD) - Datum - (System Information): Datum des CorpusExplorers (Tag der Erfassung durch CommonCrawl - nicht Tag der Erstellung/Änderung des Dokuments). - Hash - (System Information): SHA1-Hash des CommonCrawl - Pfad - (System Information): Pfad des Clusters (Rohdaten) - wird systembedingt geliefert. Bitte beachten Sie, dass die Dateien als *.cec6.gz gespeichert sind. Dies sind Binärdateien des CorpusExplorers (siehe oben). Diese Dateien gewährleisten eine effiziente Archivierung. Sie können sowohl den CorpusExplorer als auch den ‚CEC6-Converter‘ (verfügbar für Linux, MacOS und Windows - siehe: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) zur Konvertierung der Daten verwenden. Die Daten können in folgende Formate exportiert werden: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Bitte beachten Sie, dass ein Export den Speicherplatzbedarf erheblich erhöht. Eine einfache Lösung zur Bearbeitung und Analyse bietet auch die „CorpusExplorerConsole“ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - verfügbar für Linux, MacOS und Windows). Bei Fragen wenden Sie sich bitte an den Autor. Rechtliche Hinweise Die Daten wurden am 01.11.2024 heruntergeladen. Die Nutzung, Verarbeitung und Verbreitung unterliegt §60d UrhG, der die Nutzung für nicht kommerzielle Zwecke in Forschung und Lehre erlaubt. LINDAT/CLARIN übernimmt die Langzeitarchivierung nach §69d Abs. 5 und stellt sicher, dass nur berechtigte Personen auf die Daten zugreifen können. Die Daten wurden nach bestem Wissen und Gewissen (stichprobenartig) überprüft - sollten Sie dennoch Rechtsverletzungen (z.B. Recht auf Vergessenwerden, Persönlichkeitsrechte etc.) finden, schreiben Sie bitte eine E-Mail an den Autor (amc_report@jan-oliver-ruediger.de) mit folgenden Informationen: 1) warum dieser Inhalt unerwünscht ist (bitte nur kurz skizzieren) und 2) wie der Inhalt identifiziert werden kann - z.B. Dateiname, URL oder Domain etc. Der Autor wird sich bemühen, den Inhalt zu entfernen und die Daten innerhalb von zwei Wochen (verändert) wieder hochzuladen (neue Version). Bei weiteren Fragen wenden Sie sich bitte an CLARIN.

Item

Ancillary Monitor Corpus: Common Crawl - german web (YEAR 2020 – VERSION 1)

(Rüdiger, Jan Oliver, 2024-11-14) Rüdiger, Jan Oliver

*** german version see below *** The ‘Ancillary Monitor Corpus: Common Crawl - german web’ was designed with the aim of enabling a broad-based linguistic analysis of the German-language (visible) internet over time - with the aim of achieving comparability with the DeReKo (‘German Reference Corpus’ of the Leibniz Institute for the German Language - DeReKo volume 57 billion tokens - status: DeReKo Release 2024-I). The corpus is separated by year (here year 2020) and versioned (here version 1). Version 1 comprises (all years 2013-2024) 97.45 billion tokens. The corpus is based on the data dumps from CommonCrawl (https://commoncrawl.org/). CommonCrawl is a non-profit organisation that provides copies of the visible Internet free of charge for research purposes. The CommonCrawl WET raw data was first filtered by TLD (top-level domain). Only pages ending in the following TLDs were taken into account: ‘.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich’. These are the exclusive German-language TLDs according to ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) as of 1 June 2024 - TLDs with a purely corporate reference (e.g. ‘.edeka; .bmw; .ford’) were excluded. The language of the individual documents (URLs) was then estimated with the help of NTextCat (https://github.com/ivanakcheurov/ntextcat) (via the CORE14 profile of NTextCat) - only those documents/URLs for which German was the most likely language were processed further (e.g. to exclude foreign-language material such as individual subpages). The third step involved filtering for manual selectors and filtering for 1:1 duplicates (within one year). The filtering and subsequent processing was carried out using CorpusExplorer (http://hdl.handle.net/11234/1-2634) and our own (supplementary) scripts, and the TreeTagger (http://hdl.handle.net/11372/LRT-323) was used for automatic annotation. The corpus was processed on the HELIX HPC cluster. The author would like to take this opportunity to thank the state of Baden-Württemberg and the German Research Foundation (DFG) for the possibility to use the bwHPC/HELIX HPC cluster - funding code HPC cluster: INST 35/1597-1 FUGG. Data content: - Tokens and record boundaries - Automatic lemma and POS annotation (using TreeTagger) - Metadata: - GUID - Unique identifier of the document - YEAR - Year of capture (please use this information for data slices) - Url - Full URL - Tld - Top-Level Domain - Domain - Domain without TLD (but with sub-domains if applicable) - DomainFull - Complete domain (incl. TLD) - DomainFull - Complete domain (incl. TLD) - Datum - (System Information): Date of the CorpusExplorer (date of capture by CommonCrawl - not date of creation/modification of the document). - Hash - (System Information): SHA1 hash of the CommonCrawl - Pfad - (System Information): Path of the cluster (raw data) - is supplied by the system. Please note that the files are saved as *.cec6.gz. These are binary files of the CorpusExplorer (see above). These files ensure efficient archiving. You can use both CorpusExplorer and the ‘CEC6-Converter’ (available for Linux, MacOS and Windows - see: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) to convert the data. The data can be exported in the following formats: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Please note that an export increases the storage space requirement extensively. The ‘CorpusExplorerConsole’ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - available for Linux, MacOS and Windows) also offers a simple solution for editing and analysing. If you have any questions, please contact the author. Legal information The data was downloaded on 01.11.2024. The use, processing and distribution is subject to §60d UrhG (german copyright law), which authorises the use for non-commercial purposes in research and teaching. LINDAT/CLARIN is responsible for long-term archiving in accordance with §69d para. 5 and ensures that only authorised persons can access the data. The data has been checked to the best of our knowledge and belief (on a random basis) - should you nevertheless find legal violations (e.g. right to be forgotten, personal rights, etc.), please write an e-mail to the author (amc_report@jan-oliver-ruediger.de) with the following information: 1) why this content is undesirable (please outline only briefly) and 2) how the content can be identified - e.g. file name, URL or domain, etc. The author will endeavour to identify the content. The author will endeavour to remove the content and re-upload the data (modified) within two weeks (new version). If you have any further questions, please contact CLARIN. *** english version see above *** Das ‚Ancillary Monitor Corpus: Common Crawl - german web‘ wurde mit dem Ziel konzipiert - eine breit angelegte und zeitlich begleitende linguistische Analyse des deutschsprachigen (sichtbaren) Internets zu ermöglichen - wobei eine Vergleichbarkeit mit dem DeReKo (‚Deutsches Referenz Korpus‘ des Leibniz-Instituts für Deutsche Sprache - DeReKo Umfang 57 Mrd. Token - Stand: DeReKo Release 2024-I) angestrebt wird. Das Korpus ist nach Jahren getrennt (hier Jahr 2020) und versioniert (hier Version 1). Die Version 1 umfasst (alle Jahre 2013-2024) 97,45 Mrd. Token. Das Korpus basiert auf den Daten-Dumps von CommonCrawl (https://commoncrawl.org/). CommonCrawl ist eine Non-Profit-Organisation, die Kopien des sichtbaren Internets kostenlos für die Forschung zur Verfügung stellt. Die CommonCrawl WET Rohdaten wurden zunächst nach TLD (Top-Level Domain) gefiltert. Es wurden nur Seiten berücksichtigt, die auf folgende TLDs enden: „.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich“. Dies sind die exklusiven deutschsprachigen TLDs laut ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) zum Stand 01.06.2024 - ausgeschlossen wurden TLDs mit reinem Firmenbezug (z.B. „.edeka; .bmw; .ford“). Für die einzelnen Dokumente (URLs) wurde dann mit Hilfe von NTextCat (https://github.com/ivanakcheurov/ntextcat) die Sprache geschätzt (über das CORE14-Profil von NTextCat) - es wurden nur solche Dokumente/URLs weiterverarbeitet, bei denen Deutsch die wahrscheinlichste Sprache war (z.B. um möglichst auszuschließen, dass fremdsprachiges Material wie einzelne Unterseitenbereiche enthalten sind). Als dritter Schritt erfolgte eine Filterung nach manuellen Selektoren und eine Filterung nach 1:1-Dubletten (innerhalb eines Jahres). Die Filterung und anschließende Aufbereitung erfolgte mit dem CorpusExplorer (http://hdl.handle.net/11234/1-2634) und eigenen (ergänzenden) Skripten, wobei für die automatische Annotation der TreeTagger (http://hdl.handle.net/11372/LRT-323) verwendet wurde. Die Aufbereitung des Korpus erfolgte auf dem HELIX-HPC-Cluster. Der Autor dankt an dieser Stelle dem Land Baden-Württemberg und der Deutschen Forschungsgemeinschaft (DFG) für die Möglichkeit das bwHPC/HELIX HPC-Cluster nutzen zu können – Förderkennzeichen HPC-Cluster: INST 35/1597-1 FUGG. Dateninhalt: - Token und Satzgrenzen - Automatische Lemma- und POS-Annotation (mittels TreeTagger) - Metadaten: - GUID - Eindeutiger Identifikator des Dokuments - YEAR - Jahr der Erfassung (bitte verwenden Sie diese Angabe für Datenschnitte) - Url - Vollständige URL - Tld – Top-Level Domain - Domain – Domain ohne TLD (aber ggf. mit Sub-Domains) - DomainFull – Vollständige Domain (inkl. TLD) - DomainFull - Komplette Domain (inkl. TLD) - Datum - (System Information): Datum des CorpusExplorers (Tag der Erfassung durch CommonCrawl - nicht Tag der Erstellung/Änderung des Dokuments). - Hash - (System Information): SHA1-Hash des CommonCrawl - Pfad - (System Information): Pfad des Clusters (Rohdaten) - wird systembedingt geliefert. Bitte beachten Sie, dass die Dateien als *.cec6.gz gespeichert sind. Dies sind Binärdateien des CorpusExplorers (siehe oben). Diese Dateien gewährleisten eine effiziente Archivierung. Sie können sowohl den CorpusExplorer als auch den ‚CEC6-Converter‘ (verfügbar für Linux, MacOS und Windows - siehe: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) zur Konvertierung der Daten verwenden. Die Daten können in folgende Formate exportiert werden: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Bitte beachten Sie, dass ein Export den Speicherplatzbedarf erheblich erhöht. Eine einfache Lösung zur Bearbeitung und Analyse bietet auch die „CorpusExplorerConsole“ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - verfügbar für Linux, MacOS und Windows). Bei Fragen wenden Sie sich bitte an den Autor. Rechtliche Hinweise Die Daten wurden am 01.11.2024 heruntergeladen. Die Nutzung, Verarbeitung und Verbreitung unterliegt §60d UrhG, der die Nutzung für nicht kommerzielle Zwecke in Forschung und Lehre erlaubt. LINDAT/CLARIN übernimmt die Langzeitarchivierung nach §69d Abs. 5 und stellt sicher, dass nur berechtigte Personen auf die Daten zugreifen können. Die Daten wurden nach bestem Wissen und Gewissen (stichprobenartig) überprüft - sollten Sie dennoch Rechtsverletzungen (z.B. Recht auf Vergessenwerden, Persönlichkeitsrechte etc.) finden, schreiben Sie bitte eine E-Mail an den Autor (amc_report@jan-oliver-ruediger.de) mit folgenden Informationen: 1) warum dieser Inhalt unerwünscht ist (bitte nur kurz skizzieren) und 2) wie der Inhalt identifiziert werden kann - z.B. Dateiname, URL oder Domain etc. Der Autor wird sich bemühen, den Inhalt zu entfernen und die Daten innerhalb von zwei Wochen (verändert) wieder hochzuladen (neue Version). Bei weiteren Fragen wenden Sie sich bitte an CLARIN.

Item

Ancillary Monitor Corpus: Common Crawl - german web (YEAR 2017 – VERSION 1)

(Rüdiger, Jan Oliver, 2024-11-12) Rüdiger, Jan Oliver

*** german version see below *** The ‘Ancillary Monitor Corpus: Common Crawl - german web’ was designed with the aim of enabling a broad-based linguistic analysis of the German-language (visible) internet over time - with the aim of achieving comparability with the DeReKo (‘German Reference Corpus’ of the Leibniz Institute for the German Language - DeReKo volume 57 billion tokens - status: DeReKo Release 2024-I). The corpus is separated by year (here year 2017) and versioned (here version 1). Version 1 comprises (all years 2013-2024) 97.45 billion tokens. The corpus is based on the data dumps from CommonCrawl (https://commoncrawl.org/). CommonCrawl is a non-profit organisation that provides copies of the visible Internet free of charge for research purposes. The CommonCrawl WET raw data was first filtered by TLD (top-level domain). Only pages ending in the following TLDs were taken into account: ‘.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich’. These are the exclusive German-language TLDs according to ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) as of 1 June 2024 - TLDs with a purely corporate reference (e.g. ‘.edeka; .bmw; .ford’) were excluded. The language of the individual documents (URLs) was then estimated with the help of NTextCat (https://github.com/ivanakcheurov/ntextcat) (via the CORE14 profile of NTextCat) - only those documents/URLs for which German was the most likely language were processed further (e.g. to exclude foreign-language material such as individual subpages). The third step involved filtering for manual selectors and filtering for 1:1 duplicates (within one year). The filtering and subsequent processing was carried out using CorpusExplorer (http://hdl.handle.net/11234/1-2634) and our own (supplementary) scripts, and the TreeTagger (http://hdl.handle.net/11372/LRT-323) was used for automatic annotation. The corpus was processed on the HELIX HPC cluster. The author would like to take this opportunity to thank the state of Baden-Württemberg and the German Research Foundation (DFG) for the possibility to use the bwHPC/HELIX HPC cluster - funding code HPC cluster: INST 35/1597-1 FUGG. Data content: - Tokens and record boundaries - Automatic lemma and POS annotation (using TreeTagger) - Metadata: - GUID - Unique identifier of the document - YEAR - Year of capture (please use this information for data slices) - Url - Full URL - Tld - Top-Level Domain - Domain - Domain without TLD (but with sub-domains if applicable) - DomainFull - Complete domain (incl. TLD) - DomainFull - Complete domain (incl. TLD) - Datum - (System Information): Date of the CorpusExplorer (date of capture by CommonCrawl - not date of creation/modification of the document). - Hash - (System Information): SHA1 hash of the CommonCrawl - Pfad - (System Information): Path of the cluster (raw data) - is supplied by the system. Please note that the files are saved as *.cec6.gz. These are binary files of the CorpusExplorer (see above). These files ensure efficient archiving. You can use both CorpusExplorer and the ‘CEC6-Converter’ (available for Linux, MacOS and Windows - see: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) to convert the data. The data can be exported in the following formats: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Please note that an export increases the storage space requirement extensively. The ‘CorpusExplorerConsole’ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - available for Linux, MacOS and Windows) also offers a simple solution for editing and analysing. If you have any questions, please contact the author. Legal information The data was downloaded on 01.11.2024. The use, processing and distribution is subject to §60d UrhG (german copyright law), which authorises the use for non-commercial purposes in research and teaching. LINDAT/CLARIN is responsible for long-term archiving in accordance with §69d para. 5 and ensures that only authorised persons can access the data. The data has been checked to the best of our knowledge and belief (on a random basis) - should you nevertheless find legal violations (e.g. right to be forgotten, personal rights, etc.), please write an e-mail to the author (amc_report@jan-oliver-ruediger.de) with the following information: 1) why this content is undesirable (please outline only briefly) and 2) how the content can be identified - e.g. file name, URL or domain, etc. The author will endeavour to identify the content. The author will endeavour to remove the content and re-upload the data (modified) within two weeks (new version). If you have any further questions, please contact CLARIN. *** english version see above *** Das ‚Ancillary Monitor Corpus: Common Crawl - german web‘ wurde mit dem Ziel konzipiert - eine breit angelegte und zeitlich begleitende linguistische Analyse des deutschsprachigen (sichtbaren) Internets zu ermöglichen - wobei eine Vergleichbarkeit mit dem DeReKo (‚Deutsches Referenz Korpus‘ des Leibniz-Instituts für Deutsche Sprache - DeReKo Umfang 57 Mrd. Token - Stand: DeReKo Release 2024-I) angestrebt wird. Das Korpus ist nach Jahren getrennt (hier Jahr 2017) und versioniert (hier Version 1). Die Version 1 umfasst (alle Jahre 2013-2024) 97,45 Mrd. Token. Das Korpus basiert auf den Daten-Dumps von CommonCrawl (https://commoncrawl.org/). CommonCrawl ist eine Non-Profit-Organisation, die Kopien des sichtbaren Internets kostenlos für die Forschung zur Verfügung stellt. Die CommonCrawl WET Rohdaten wurden zunächst nach TLD (Top-Level Domain) gefiltert. Es wurden nur Seiten berücksichtigt, die auf folgende TLDs enden: „.at; .bayern; .berlin; .ch; .cologne; .de; .gmbh; .hamburg; .koeln; .nrw; .ruhr; .saarland; .swiss; .tirol; .wien; .zuerich“. Dies sind die exklusiven deutschsprachigen TLDs laut ICANN (https://data.iana.org/TLD/tlds-alpha-by-domain.txt) zum Stand 01.06.2024 - ausgeschlossen wurden TLDs mit reinem Firmenbezug (z.B. „.edeka; .bmw; .ford“). Für die einzelnen Dokumente (URLs) wurde dann mit Hilfe von NTextCat (https://github.com/ivanakcheurov/ntextcat) die Sprache geschätzt (über das CORE14-Profil von NTextCat) - es wurden nur solche Dokumente/URLs weiterverarbeitet, bei denen Deutsch die wahrscheinlichste Sprache war (z.B. um möglichst auszuschließen, dass fremdsprachiges Material wie einzelne Unterseitenbereiche enthalten sind). Als dritter Schritt erfolgte eine Filterung nach manuellen Selektoren und eine Filterung nach 1:1-Dubletten (innerhalb eines Jahres). Die Filterung und anschließende Aufbereitung erfolgte mit dem CorpusExplorer (http://hdl.handle.net/11234/1-2634) und eigenen (ergänzenden) Skripten, wobei für die automatische Annotation der TreeTagger (http://hdl.handle.net/11372/LRT-323) verwendet wurde. Die Aufbereitung des Korpus erfolgte auf dem HELIX-HPC-Cluster. Der Autor dankt an dieser Stelle dem Land Baden-Württemberg und der Deutschen Forschungsgemeinschaft (DFG) für die Möglichkeit das bwHPC/HELIX HPC-Cluster nutzen zu können – Förderkennzeichen HPC-Cluster: INST 35/1597-1 FUGG. Dateninhalt: - Token und Satzgrenzen - Automatische Lemma- und POS-Annotation (mittels TreeTagger) - Metadaten: - GUID - Eindeutiger Identifikator des Dokuments - YEAR - Jahr der Erfassung (bitte verwenden Sie diese Angabe für Datenschnitte) - Url - Vollständige URL - Tld – Top-Level Domain - Domain – Domain ohne TLD (aber ggf. mit Sub-Domains) - DomainFull – Vollständige Domain (inkl. TLD) - DomainFull - Komplette Domain (inkl. TLD) - Datum - (System Information): Datum des CorpusExplorers (Tag der Erfassung durch CommonCrawl - nicht Tag der Erstellung/Änderung des Dokuments). - Hash - (System Information): SHA1-Hash des CommonCrawl - Pfad - (System Information): Pfad des Clusters (Rohdaten) - wird systembedingt geliefert. Bitte beachten Sie, dass die Dateien als *.cec6.gz gespeichert sind. Dies sind Binärdateien des CorpusExplorers (siehe oben). Diese Dateien gewährleisten eine effiziente Archivierung. Sie können sowohl den CorpusExplorer als auch den ‚CEC6-Converter‘ (verfügbar für Linux, MacOS und Windows - siehe: https://lindat.mff.cuni.cz/repository/xmlui/handle/11372/LRT-5705) zur Konvertierung der Daten verwenden. Die Daten können in folgende Formate exportiert werden: - CATMA v6 - CoNLL - CSV - CSV (only meta-data) - DTA TCF-XML - DWDS TEI-XML - HTML - IDS I5-XML - IDS KorAP XML - IMS Open Corpus Workbench - JSON - OPUS Corpus Collection XCES - Plaintext - SaltXML - SlashA XML - SketchEngine VERT - SPEEDy/CODEX (JSON) - TLV-XML - TreeTagger - TXM - WebLicht - XML Bitte beachten Sie, dass ein Export den Speicherplatzbedarf erheblich erhöht. Eine einfache Lösung zur Bearbeitung und Analyse bietet auch die „CorpusExplorerConsole“ (https://github.com/notesjor/CorpusExplorer.Terminal.Console - verfügbar für Linux, MacOS und Windows). Bei Fragen wenden Sie sich bitte an den Autor. Rechtliche Hinweise Die Daten wurden am 01.11.2024 heruntergeladen. Die Nutzung, Verarbeitung und Verbreitung unterliegt §60d UrhG, der die Nutzung für nicht kommerzielle Zwecke in Forschung und Lehre erlaubt. LINDAT/CLARIN übernimmt die Langzeitarchivierung nach §69d Abs. 5 und stellt sicher, dass nur berechtigte Personen auf die Daten zugreifen können. Die Daten wurden nach bestem Wissen und Gewissen (stichprobenartig) überprüft - sollten Sie dennoch Rechtsverletzungen (z.B. Recht auf Vergessenwerden, Persönlichkeitsrechte etc.) finden, schreiben Sie bitte eine E-Mail an den Autor (amc_report@jan-oliver-ruediger.de) mit folgenden Informationen: 1) warum dieser Inhalt unerwünscht ist (bitte nur kurz skizzieren) und 2) wie der Inhalt identifiziert werden kann - z.B. Dateiname, URL oder Domain etc. Der Autor wird sich bemühen, den Inhalt zu entfernen und die Daten innerhalb von zwei Wochen (verändert) wieder hochzuladen (neue Version). Bei weiteren Fragen wenden Sie sich bitte an CLARIN.

Browse

Recent Submissions