中国论文代写_智能信息获取技术代写

智能信息获取技术

智能信息获取技术代写 源代码：使用python3完成，包括各个分词算法的源码，说明文档（如何运行程序，输入、输出路径等），不要包括原始的分词数据集。• 课程报告：至少应包括以下部分：– 中文分词技术的研究意义。– 所实现的各个算法的原理介绍，实现过程的关键技术或步骤。

1 数据集  智能信息获取技术代写

数据集包括以下几个部分：
• 训练集合：文件名pku training.utf8。文件内文本已经进行分句、分词，即已经提供答案。每行对应一个句子，词与词之间空格切分。建议使用专业编辑器打开，如Visual studio code等。记事本打开有可能显示有问题。 需要针对该数据进行相应预处理，将其转化为实验所需的格式。例如：如果采用序列标注方法来做，需要将该数据转化为BIOES等模式1。
• 测试集合：pku test.utf8。文件内文本已经进行分句，但是每一句话为连续字串，没有进行分词，需要使用训练好的分词器对测试集合中的每一句话进行切分。自动分词算法针对测试集合中的每一句话分词之后，将分词结果用空格分开，输出到一个文本文件（以utf8格式保存），该输出文件的格式应与下面介绍的测试集答案文件一致。
• 测试集答案：pku test gold.utf8。文件内的文本与测试集合中的文本，逐行对应。每一行都是分好词的结果，用空格分割。

2 评价方法

为了评价分词算法的性能，需要将自动分词结果与测试集的答案进行比较。常用的评价方法包括：准确率（precision）、召回率（recall）和F1值。 Precision表明了分词器分词的准确程度；召回率也可认为是“查全率”，表明了分词器切分正确的词有多么全；F值综合反映整体的指标。Precision、Recall、F越大越好。一个完美的分词器的三个指标值均为1。通常，Precision和Recall这两个指标会相互制约。
为了计算上述指标的计算方法，先定义如下数据：
• N ：黄金标准分割的单词数
• c ：分词器正确标注的单词数  智能信息获取技术代写
• M ：自动分词器产生的单词数
则以上各指标的计算公式如下：

标准答案：“计算机 总是 有问题”，将其转化为下标表示为：[0, 3)[3, 5)[5, 8)。其中，词索引从0开始，每一个括号内部的表示 [开始坐标，结束坐标+1）自动分词：“计算机 总 是 有问题”，将其转化为下标表示为：[0, 3)[3, 4)[4, 5)[5,8)。

.

3 考核要求  智能信息获取技术代写

实现以下分词算法
• 正 向 最 大 匹 配 算 法 、 反 向 最 大 匹 配 算 法 。 请 自 己 独 立 编 码 实 现 ， 词 表 已 提 供（dictionary.txt）。 （25分）
• 基于隐马尔科夫模型的分词方法。请自己独立编码实现。（15分）
• 基于CRF的分词方法。推荐使用开源工具sklearn-ctfsuite2。请自学该工具的使用方法。（选做，10分）
• 基于神经网络的自动分词方法。可使用开源工具Pytorch3完成基于LSTM或Transformer4的中文分词算法。（选做，10分）

要求提交

• 源代码：使用python3完成，包括各个分词算法的源码，说明文档（如何运行程序，输入、输出路径等），不要包括原始的分词数据集。
• 课程报告：至少应包括以下部分：
– 中文分词技术的研究意义。
– 所实现的各个算法的原理介绍，实现过程的关键技术或步骤。如果未完整完成某算法，请明确指出已完成部分和未完成部分工作。
– 实验设置：包括数据集的规模、格式、评价标准
– 评价结果：评价并比较实现的各个算法，分析各个算法的优劣、存在的问题等。
– （可选）改进：针对已有算法存在问题，提出自己的新的解决方案，并与已有方法进行比较。
• 承诺书：承诺期末大作业独立完成，或声明哪些工作在XXX同学工作基础上完成，或与XXX同学合作完成且本人承担其中YYY的工作。如果被发现未声明的抄袭，抄袭人自愿承担后果。
期末考核总体规则  智能信息获取技术代写
• 出勤、课堂表现、平时作业、测验，满分50分。
• 期末大作业满分50分：完成正向、反向最大匹配算法最多+25分。完成隐马尔科夫模型最多+15分。完成CRF模型或神经网络模型最多+10分。提出新的解决方案，并取得优于已有方法的结果最多+5分。
• 总分100分封顶。

商科代写 cs代写 法律学代写 经济学代考_经济学作业代写 艺术代写 心理学代写  哲学代写 伦理学代写 体育学代写 化学代写 教育学代写 医学代写 历史代写