Data · dataset · 2022

Chinese Novel Short Sentence Sequence Text Paraphrase Dataset

Listed in ScienceDB

文本释义是自然语言处理和自然语言生成的重要研究内容之一。目前，基于神经网络的释义生成研究大多以英语和日语为基础。由于中文语料库资源的稀缺，中文释义研究滞后。针对这一问题，本文采用基于北京大学释义库[1]的中文小说释义语料库，通过人工选择和数据预处理，获得高质量的短句释义对。该数据集包括大小为 2.91M 的样本 34770 个句子对。通过使用LaserTagger释义生成模型[2]将数据质量与公共数据集LCQCM进行比较，证实了本文中的数据集具有更高的质量。该数据集可以应用于机器翻译，以缓解稀疏语料库的问题，并重写自动问答领域的问题。和扩展，以扩展和概括信息检索领域的搜索词和句子[3]。