2022人民网人工智能算法大赛

发布时间：2022-12-01，作者：阿水, 鱼遇雨欲语与余

为推进人工智能领域的学术交流、人才培养、技术发展，鼓励广大学生积极学习和研发符合我国主流价值观的优秀算法， 2022年11-12月举办“2022人民网人工智能算法大赛”，赛事由人民网股份有限公司主办，传播内容认知全国重点实验室承办。 赛事网站

本届比赛的报名、赛题发布、竞赛数据集发布及结果提交、实时榜单发布，都通过竞赛官网（data.sklccc.com/2022）进行， 比赛的相关通知及赛制介绍也将通过此网站发布。

文本生成是自然语言处理中一个重要的研究领域，具有广阔的应用前景。随着深度学习和大规模预训练模型能力的提升，文本生成任务在社交媒体领域，特别是以文字为主要输出形式的媒体上，有了更大落地应用的可能性。

此任务提供微博对话数据集，每条数据主要包含微博文本内容，以及微博对应的回复。参赛选手需要根据给定的数据集，训练一个文本生成模型，可以生成自然流畅、信息丰富，符合话题场景的回复内容。

此任务的评估机制分为客观评估、主观评估两个阶段，客观评估阶段（11月29日-12月18日）的前10名参赛队伍提交模型及代码文件，由评委在新话题下生成评估数据，进行主观评估，得出最终排名。

训练集：train.csv， 共有三个字段，每个字段以\t划分.

测试集：test_A.csv和test_B.csv 共有两个字段，每个字段以\t划分。测试集有两个，分别用于客观测试和主观测试。

weibo_id，微博ID

text，微博文本正文

评估机制分为客观评估、主观评估两个阶段。其中客观评估阶段在测试集A上针对客观指标进行自动评估，客观评估表现优秀者进入主观评估阶段。 主观评估阶段需要参赛队伍提交模型文件及代码文件，评审人员基于参赛队伍的模型在测试集B上生成提交文件并进行主观评估。

在主观评估阶段，参赛队伍需要基于anaconda环境进行开发，遵循特定输入输出数据格式规范，提供anaconda中依赖环境、相关模型以及代码，以便评审人员能够评估模型能力。

自动评估阶段的得分为：

$$ \text { Score }=\frac{1}{4}\left[\begin{array}{l} \left(B L E U_1+B_{L E U_2}\right)+\left(\text { DISTINCT }_1+\text { DISTINCT }_2\right) \ +\text { BertScoreFlrelation }+\text { BertScoreF1similarity } \end{array}\right] $$

其中BLEU表示预测回复与标准回复的字粒度值；DISTINCT是对话内容多样性的自动指标。 （其计算方式： 对于一个weibo_id的多个生成评论内容求多样性，然后求所有weibo_id对应的多样性的平均)。

BertScoreFlrelation值用来评估生成的文本与博文的相关性，以及BertScoreF1similarity生成文本与真实评论的相似度 （针对每一条生成的评论，将该评论与所有真实评论求相似度，然后取最高分作为该条评论的相似度得分。最终将相似性得分求平均）。

新浪微博作为新型社交媒体积累了各领域的海量数据，从中挖掘出潜在的特征并及时识别出话题，能够带来可观的社会价值。

本次比赛提供微博识别数据集，每条数据包括微博文本数据及对应的话题标签，每个数据样本可能包含一个或多个话题标签。

参赛选手需要通过训练集数据建立预测模型，对测试集数据的话题标签作出识别。

训练集包含一批文本信息样本及其标签，文件名为train.csv，各字段以tab分隔，格式如下：

测试集包含一批不含标签的样本，文件名为test.csv，格式如下：

在此任务中，为了更好的反应模型的能力，我们对评估样本采用部分正确的评估方法。

互联网新媒体，特别是微博的兴起，极大地促进了信息的广泛传播。对微博信息的流行度规模作出精准预测，有利于对互联网舆情态势作出准确研判。

本次比赛提供微博传播数据集，包括一批微博数据，每条微博数据附带用户在当时的基本信息数据。参赛选手需要预测微博在指定时间的流行度。其中，流行度由微博的转发量、评论量、点赞量三者共同决定。

数据集数据来源于新浪微博，用户Id、微博Id等信息已经过脱敏。数据集分为训练集和测试集，所有文件均为csv格式。

训练集数据格式：

测试集数据格式：

针对每条微博的转发量、评论量、点赞量，我们采用平均绝对百分比误差（mean absolute percentage error）来评价预测效果的优劣。

$$M A P E=\frac{1}{M} \sum_{m=1}^M\left|\frac{\widehat{N}_m-N_m}{\max \left(N_m, \varepsilon\right)}\right|$$

在线社交网络中,微博平台的便捷性和开放性,给信息的传播和爆发提供了很大的便利。转发是微博平台上用户的重要行为,也是信息传播的关键机制。基于转发行为,分析一条推文是否被用户转发,可以使我们更好地了解信息的传播特性,探索用户的行为与兴趣,以此推进信息推荐、预防突发事件和舆情感知等应用发展。

本次比赛提供微博传播数据集，包括一批微博转发数据，源发帖数据，附带用户基本信息数据。参赛选手需要预测在特定观测时间内，用户对特定微博是否会发生转发行为。

此任务使用F1值作为评价指标

社交媒体机器人已经成为传播学研究的重要议题，对其进行有效准确识别是相关研究开展的前提。 当前基于账号特征、信息特征、社会网络信息识别、机器学习识别等方法正面临全新挑战。 为了应对这些挑战，新的社交机器人识别体系应当包含账号的社交行为、集群行为和情感行为等指标，并借助不同账号间的协同行为、账号互动能力等网络行为特征对社交机器人进行识别。

本次比赛提供社交机器人数据集，主要包括账号个人信息、推文信息、邻居信息等数据。 参赛选手需要通过训练集数据建立分类模型，对测试集数据进行机器人身份识别。

此任务使用Macro-F1作为评估指标，我们分别计算每个类的准确率、召回率、f1分数，并报告两个类的平均分数。