Quality and Efficiency of Manual Annotation: Data from the Pre-annotation Bias Experiment (part of the PDT-C 2.0 project)

Name: Quality and Efficiency of Manual Annotation: Data from the Pre-annotation Bias Experiment (part of the PDT-C 2.0 project)
License: http://creativecommons.org/licenses/by/4.0/

Mikulová, Marie; Straka, Milan; Štěpánek, Jan; Štěpánková, Barbora; Hajič, Jan

Quality and Efficiency of Manual Annotation: Data from the Pre-annotation Bias Experiment (part of the PDT-C 2.0 project)

LINDAT / CLARIAH-CZ

Authors: Mikulová, Marie ; Straka, Milan ; Štěpánek, Jan ; Štěpánková, Barbora and Hajič, Jan

Item identifier: http://hdl.handle.net/11234/1-4647

Project URL: https://ufal.mff.cuni.cz/pdt-c

Date issued: 2022

Type: corpus, text

Size: 10024 tokens, 470 sentences

Language(s): Czech

Description: Input data, individual experimental annotations, and a complete and detailed overview of the measured results related to the experiment described in the referenced paper.

Publisher: Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics (UFAL)

Subject(s): annotation syntax inter-annotator agreement pre-annotation bias annotation efficiency annotation quality

Collection(s): LINDAT / CLARIAH-CZ Data & Tools

Show full item record

Files in this item

This item is

Publicly Available

and licensed under:
Creative Commons - Attribution 4.0 International (CC BY 4.0)

Name: PDT-C-20-experiment.zip
Size: 3.78 MB
Format: application/zip
Description: Data with multiple annotation inc. gold data, spreadsheet with all measurements and computations.
MD5: 85d5313ec3de70680dce18423a4cecb1

Download file Preview

File Preview

data
- mam
  - wsj0282.cz.m227 kB
  - wsj1446.cz.w78 kB
  - wsj1455.cz.m228 kB
  - wsj0989.cz.a305 kB
  - wsj1568.cz.w78 kB
  - wsj2250.cz.w77 kB
  - wsj1568.cz.t274 kB
  - wsj1986.cz.a298 kB
  - wsj0282.cz.a310 kB
  - wsj1446.cz.m227 kB
  - wsj1002.cz.w79 kB
  - wsj1455.cz.a295 kB
  - wsj1568.cz.m229 kB
  - wsj2250.cz.m225 kB
  - wsj1446.cz.a306 kB
  - wsj1002.cz.m227 kB
  - wsj1568.cz.a305 kB
  - wsj2250.cz.a290 kB
  - wsj0989.cz.w78 kB
  - wsj1986.cz.w76 kB
  - wsj1002.cz.a298 kB
  - wsj0282.cz.w77 kB
  - wsj1986.cz.t271 kB
  - wsj0282.cz.t290 kB
  - wsj0989.cz.m228 kB
  - wsj1455.cz.w78 kB
  - wsj1455.cz.t282 kB
  - wsj1986.cz.m224 kB
- gold
  - wsj0282.cz.m227 kB
  - wsj1446.cz.w78 kB
  - wsj1455.cz.m228 kB
  - wsj1446.cz.t288 kB
  - wsj0989.cz.a306 kB
  - wsj1568.cz.w78 kB
  - wsj2250.cz.w77 kB
  - wsj1568.cz.t274 kB
  - wsj1986.cz.a298 kB
  - wsj2250.cz.t283 kB
  - wsj0282.cz.a310 kB
  - wsj1446.cz.m227 kB
  - wsj1002.cz.w79 kB
  - wsj1455.cz.a294 kB
  - wsj1568.cz.m229 kB
  - wsj1002.cz.t284 kB
  - wsj2250.cz.m225 kB
  - wsj1446.cz.a305 kB
  - wsj1002.cz.m227 kB
  - wsj1568.cz.a305 kB
  - wsj2250.cz.a289 kB
  - wsj0989.cz.w78 kB
  - wsj0989.cz.t286 kB
  - wsj1986.cz.w76 kB
  - wsj1002.cz.a299 kB
  - wsj0282.cz.w77 kB
  - wsj1986.cz.t271 kB
  - wsj0282.cz.t545 kB
  - wsj1455.cz.w78 kB
  - wsj0989.cz.m228 kB
  - wsj1455.cz.t282 kB
  - wsj1986.cz.m224 kB
- toh
  - wsj0282.cz.m227 kB
  - wsj1446.cz.w78 kB
  - wsj1455.cz.m228 kB
  - wsj0989.cz.a304 kB
  - wsj1568.cz.w78 kB
  - wsj2250.cz.w77 kB
  - wsj1568.cz.t274 kB
  - wsj1986.cz.a298 kB
  - wsj0282.cz.a311 kB
  - wsj1446.cz.m227 kB
  - wsj1002.cz.w79 kB
  - wsj1455.cz.a294 kB
  - wsj1568.cz.m229 kB
  - wsj2250.cz.m225 kB
  - wsj1446.cz.a304 kB
  - wsj1002.cz.m227 kB
  - wsj1568.cz.a306 kB
  - wsj2250.cz.a289 kB
  - wsj0989.cz.w78 kB
  - wsj1986.cz.w76 kB
  - wsj1002.cz.a298 kB
  - wsj0282.cz.w77 kB
  - wsj1986.cz.t271 kB
  - wsj0282.cz.t545 kB
  - wsj0989.cz.m228 kB
  - wsj1455.cz.w78 kB
  - wsj1455.cz.t282 kB
  - wsj1986.cz.m224 kB
- bas
  - wsj0282.cz.m227 kB
  - wsj1446.cz.w78 kB
  - wsj1455.cz.m228 kB
  - wsj0989.cz.a306 kB
  - wsj1568.cz.w78 kB
  - wsj2250.cz.w77 kB
  - wsj1568.cz.t274 kB
  - wsj1986.cz.a298 kB
  - wsj0282.cz.a310 kB
  - wsj1446.cz.m227 kB
  - wsj1002.cz.w79 kB
  - wsj1455.cz.a295 kB
  - wsj1568.cz.m229 kB
  - wsj2250.cz.m225 kB
  - wsj1446.cz.a303 kB
  - wsj1002.cz.m227 kB
  - wsj1568.cz.a305 kB
  - wsj2250.cz.a291 kB
  - wsj0989.cz.w78 kB
  - wsj1986.cz.w76 kB
  - wsj1002.cz.a298 kB
  - wsj0282.cz.w77 kB
  - wsj1986.cz.t271 kB
  - wsj0282.cz.t290 kB
  - wsj0989.cz.m228 kB
  - wsj1455.cz.w78 kB
  - wsj1455.cz.t282 kB
  - wsj1986.cz.m224 kB
- bare
  - wsj0282.cz.m227 kB
  - wsj1446.cz.w78 kB
  - wsj1455.cz.m228 kB
  - wsj1446.cz.t288 kB
  - wsj0989.cz.a161 kB
  - wsj1568.cz.w78 kB
  - wsj2250.cz.w77 kB
  - wsj1568.cz.t274 kB
  - wsj1986.cz.a160 kB
  - wsj2250.cz.t283 kB
  - wsj0282.cz.a161 kB
  - wsj1446.cz.m227 kB
  - wsj1002.cz.w79 kB
  - wsj1455.cz.a162 kB
  - wsj1568.cz.m229 kB
  - wsj1002.cz.t284 kB
  - wsj2250.cz.m225 kB
  - wsj1446.cz.a161 kB
  - wsj1002.cz.m227 kB
  - wsj1568.cz.a162 kB
  - wsj2250.cz.a160 kB
  - wsj0989.cz.w78 kB
  - wsj0989.cz.t286 kB
  - wsj1986.cz.w76 kB
  - wsj1002.cz.a162 kB
  - wsj0282.cz.w77 kB
  - wsj1986.cz.t271 kB
  - wsj0282.cz.t290 kB
  - wsj1455.cz.w78 kB
  - wsj0989.cz.m228 kB
  - wsj1455.cz.t282 kB
  - wsj1986.cz.m224 kB
- jah
  - wsj0282.cz.m227 kB
  - wsj1446.cz.w78 kB
  - wsj1455.cz.m228 kB
  - wsj0989.cz.a306 kB
  - wsj1568.cz.w78 kB
  - wsj2250.cz.w77 kB
  - wsj1568.cz.t274 kB
  - wsj1986.cz.a298 kB
  - wsj0282.cz.a309 kB
  - wsj1446.cz.m227 kB
  - wsj1002.cz.w79 kB
  - wsj1455.cz.a297 kB
  - wsj1568.cz.m229 kB
  - wsj2250.cz.m225 kB
  - wsj1446.cz.a305 kB
  - wsj1002.cz.m227 kB
  - wsj1568.cz.a307 kB
  - wsj2250.cz.a292 kB
  - wsj0989.cz.w78 kB
  - wsj1986.cz.w76 kB
  - wsj1002.cz.a299 kB
  - wsj0282.cz.w77 kB
  - wsj1986.cz.t271 kB
  - wsj0282.cz.t290 kB
  - wsj0989.cz.m228 kB
  - wsj1455.cz.w78 kB
  - wsj1455.cz.t282 kB
  - wsj1986.cz.m224 kB
- bas.v1 MB
- kappa.pl5 kB
- compute_stds_pvalues.py3 kB
- cmp.sh1 kB
- a2vert.sh900 B
- gold.v1 MB
- toh.v1 MB
- bare.v1 MB
- mam.v1 MB
- README.txt649 B
- jah.v1 MB
- PDT-C-2-0_experiment-results.xlsx87 kB