SpaCE2022中文空间语义理解评测数据清洗工作指南
任务简介
1. SpaCE2022课题组通过计算机程序收集了大量自然文本语料，用途是进行句子空间方位语义理解研究。
2. 收集到的自然文本语料已经过计算机程序自动分词和词性标注处理，并对方位词、趋向动词、处所词和名词进行了高亮。
3. 通过上述途径得到的语料存在5类问题，需要人工进行逐句审核，找出问题，即所谓的语料数据清洗。清洗工作的目的是对每个句段中的问题进行标识，有的还需要修改。下表概括了句段中存在问题的范围、对问题的具体描述，标注时对应的选项，以及具体的标注方式。
| 问题范围/焦点 | 问题描述 | 标注时对应的选项 | 标注方式 |
|---|---|---|---|
| 整段 | 无空间方位义、复杂难懂、句段不完整 | 该段落不表达空间方位义/复杂难懂/不完整 | 不做其他标识，仅归类 |
| 整段 | 字、词、符号错误 | 该段落存在错别字以及符号错误 | 标识+归类+修改 |
| 方位词 | 并不表达空间方位义 | 红色词（方位词）不表达空间方位义 | 标识+归类 |
| 趋向动词 | 并不表达空间方位义 | 橙色词（趋向动词）不是表达空间方位义的趋向动词 | 标识+归类 |
| 句段中高亮的方位词、趋向动词、处所词、名词 | 实际上并不是正确的方位词、趋向动词、处所词、名词 | 高亮词存在分词错误 | 标识+归类 |
语料来源
语料来源于多个领域，有普通日常语言的文本，还有专业领域的文本，比如体育领域人体动作类语料、地理百科类语料等。
选项说明
选项1： 该段落不表达空间方位义/复杂难懂/不完整
示例1 由谁去充任那些苦难的角色？又有谁去体现这世间的幸福，骄傲和快乐？只好听凭偶然，是没有道理好讲的。
【句子整体无空间方位义，应归入“ 该段落不表达空间方位义/复杂难懂/不完整”。归入即点击选项按钮】
示例2 在双臂快速向下摆动的同时身体跳起。单脚落地支撑，
【句尾标红的标点符号“，”表明该段落语义不完整，应归入“ 该段落不表达空间方位义/复杂难懂/不完整”。】
选项2： 该段落存在错别字以及符号错误
示例3 我们沿者小路散步到井房，房顶上盛开的金银花芬芳扑鼻。莎莉文老师把我的一只手放在喷水口下，一股清凉的水在我手上流过。
【句中红色高亮词“沿者”存在字词错误，应为“沿着”，应归入“该段落存在错别字以及符号错误”。用鼠标选中“沿者”，点击按钮“该段落存在错别字以及符号错误”，在弹出的文本框内修改为“沿着”。】
示例4 在双臂快速向下摆动的同时身体跳起。单脚落地支撑，呈稳定的单腿运动姿，注意膝盖不要超过脚尖）并保持身体稳定。
【句中标红的标点符号“）”错误，用鼠标选中错误符号及其前后单位“脚尖)并”，点击按钮“该段落存在错别字以及符号错误”，在弹出的文本框内修改为“脚尖并”】
示例5 在双臂快速向下摆动的同时身体跳起。单脚落地支撑，呈稳定的单腿运动姿，注意膝盖不要超过脚尖并保持身体稳定
【上述例子段落语义完整，但是句尾缺少标点符号“。”用鼠标选中句段中最后一个词“稳定”，点击按钮“该段落存在错别字以及符号错误”，在弹出的文本框内修改为“稳定。”】
选项3： 红色词（方位词）不表达空间方位义
示例6 1563年制定的英国《学徒法》中有这样的规定：“所有的工匠和工人，在3月中旬至9月中旬的期间内，早上应于时钟显示5点或5点前上岗。
【句中红色高亮词“前”，在此处表达时间概念，并不是表示空间方位义，应归入“红色词（方位词）不表达空间方位义”。】
示例7 仰卧，整个身体在放松的状态下躺在地面或垫子上，目视上方，双手放在身体两侧，自然摆放。
【句中红色高亮词“下”，在此处不表示空间方位义，应归入“红色词（方位词）不表达空间方位义”。】
选项4： 橙色词（趋向动词）不是表达空间方位义的趋向动词（趋向动词表达趋向意义，趋向指相对于某个参照点的位置移动）
示例8 我常梦想着在人间彻底消灭残疾，但可以相信，那时将由患病者代替残疾人去承担同样的苦难。
【句中橙色高亮趋向动词“去”不是表达空间方位义的趋向动词，应归入“橙色词（趋向动词）不是表达空间方位义的趋向动词”，归入选项4“橙色词（趋向动词）不是表达空间方位义的趋向动词”。】
示例9 清晨，我去公园玩，一进门就闻到一阵清香。我赶紧往荷花池边跑去。
【请注意：这里的趋向动词“去”表达空间方位义，因此不归入选项4“橙色词（趋向动词）不是表达空间方位义的趋向动词”，由于这句话不存在问题且表达空间方位义，所以应该归入选项6“无上述问题”。】
选项5： 高亮词存在分词错误（分词错误指的是把不是词的单位误识为词）
1.句中红色高亮方位词存在分词错误
示例10
【句中红色方框内高亮词“前右脚”切分错误，“前”“右脚”应该分开。归入选项“高亮词存在分词错误”】
示例11 我平安地上了岸，踽踽地走着，偶然把头回过去，只看见一个微弱的灯光，一高一低地向着东方走去。
【句中红色高亮词“地上”是分词错误，正确的分词结果应该为“我”“平安”“地”“上”“了”“岸”，这里的“地上”被误判为方位词，归入“高亮词存在分词错误”。】
示例12
【上图红色方框内高亮词“门锁上”存在分词错误，正确的分词结果应该为“门”“锁”“上”，这里的“上”被误判为方位词，归入“高亮词存在分词错误”。】
2.句中绿色高亮处所词存在分词错误
示例13
【上图中绿色高亮词“天上”属于分词错误，应该修改为“蓝天”“上”，此处误判为处所词“天上”。归入“高亮词存在分词错误”】
示例14 有一天，天气很冷，我和一位同事站在公司大门前谈话。
【上图中绿色高亮词“门前”属于分词错误，正确的分词结果是名词“大门”和方位词“前”即大门前，此处“门前”误判为处所词。归入“高亮词存在分词错误”。】
示例15 有一天，天气很冷，我和一位同事站在公司门前谈话。
【请注意：这里的处所词“门前”和名词+方位词“门前”两种分词词性标注结果均可，我们允许“海边”、“床边”、“手里”等“名词+方位词”结构的词组被识别为处所词，因此不需要归入“高亮词存在分词错误”。】
3.句中蓝色高亮名词存在分词错误
示例16
【句中红色方框内的蓝色高亮词“姿”分词错误，正确的分词结果应该为“站立姿”，归入“高亮词存在分词错误”。】
示例17
【上图中红色方框内存在分词错误，“手电光”是名词，本应标记为蓝色但是未标记，将其中的“光”跟后面的“照”标记成新的名词“光照”，应归入“高亮词存在分词错误”。】
选项6： 无上述问题
示例18
【该段落是正常的含有空间方位义的文本】
注意事项
一个语段可能存在多个问题，或一个问题出现多次，所有问题均需标注。标注一个问题之后，如发现还有新的问题，可点击“继续增加标注”按钮来标注新的问题。
示例19
【由于上图中存在多个错误，“门锁上”存在分词错误，红色方框内存在错别字，“月匙”应为“钥匙”，选中“月匙”，点击按钮“继续增加标注”进行修改。】
标注工具使用说明
step1 用户登录网站 点击网址
step2 输入 姓名 和 密码 。
step3 点击「开始标注」按钮，进入标注页面。
step4 点击「该段落不表达空间方位义/复杂难懂/不完整」 、「该段落存在错别字以及符号错误」、「红色词（方位词)不表达空间方位义」、「橙色词（趋向动词)不是表达空间方位义的趋向动词」 、「高亮词存在分词错误」、 「无上述问题」6个按钮中任何一个标注。标注完成后点击「保存并继续」，直至标完事先分配好的任务，界面就会提示 「没有下一条了」。 -
Tips
标注工具仅支持chrome、firefox浏览器。
如有任何问题，请联系小组长。
文档最近更新时间：2022-03-29
北京大学SpaCE2022评测任务课题组
本项目得到国家科技创新2030“新一代人工智能”重大项目——“以自然语言为核心的语义理解理论、模型与方法”（项目号：2020AAA0106701）支持。