10kGNAD数据集旨在作为第一个德国主题分类数据集解决部分问题。

它由一家奥地利在线报纸的10273篇德语新闻文章组成，分为9个主题。

这些文章是一百万篇文章语料库中至今未使用的部分。


在一百万篇文章语料库中，每篇文章都有一个主题路径。例如，新闻室/Wirtschaft/Wirtshaftpolitik/Finanzmaerkte/Griechenlandkrise。

10kGNAD使用主题路径的第二部分，这里是Wirtschaft，作为类标签。

因此，数据集可用于多类分类。


我在论文中创建并使用了这个数据集来训练和评估四个德语文本分类器。

通过发布数据集，我希望支持德语工具和模型的进步。

此外，该数据集可以用作德国主题分类的基准数据集。

数字和统计

与大多数真实世界数据集一样，10kGNAD的类分布并不平衡。

最大的类Web包含1678篇，而小类Kultur仅包含539篇文章。

然而，来自Web类的文章平均单词最少，而来自文化类的文章单词次之。

分为列车和测试

我建议将10%的文章分层进行测试，其余的文章进行培训。

要将数据集用作基准数据集，请使用项目根目录中的train.csv和test.csv文件。