公开数据集
数据结构 ? 1099.53M
Data Structure ?
* 以上分析是由系统提取分析形成的结果,具体实际数据为准。
README.md
Context
This dataset contains a little more than 8 Million sentences from the German Wikipedia. Data was obtained via the [LinguaTools Monolingual Dumps](https://linguatools.org/tools/corpora/wikipedia-monolingual-corpora/), filtered to only keep articles with more than 35 links pointing to them and stripped of XML (and other junk). Articles were then split into sentences using [NNSplit](https://github.com/bminixhofer/nnsplit).
Acknowledgements
Obviously: I did almost no work here, all credit goes to [Wikipedia](https://www.wikipedia.org/) and [Linguatools](https://linguatools.org/).
Inspiration
Some time ago I didn't find any easy way to access the (cleaned) data from German Wikipedia for a project with self-supervised training. I just revisited it and thought I'd put the data up here, I'm not sure if there is still a need for it but it can't hurt I guess :)
×
帕依提提提温馨提示
该数据集正在整理中,为您准备了其他渠道,请您使用
注:部分数据正在处理中,未能直接提供下载,还请大家理解和支持。
暂无相关内容。
暂无相关内容。
- 分享你的想法
去分享你的想法~~
全部内容
欢迎交流分享
开始分享您的观点和意见,和大家一起交流分享.
数据使用声明:
- 1、该数据来自于互联网数据采集或服务商的提供,本平台为用户提供数据集的展示与浏览。
- 2、本平台仅作为数据集的基本信息展示、包括但不限于图像、文本、视频、音频等文件类型。
- 3、数据集基本信息来自数据原地址或数据提供方提供的信息,如数据集描述中有描述差异,请以数据原地址或服务商原地址为准。
- 1、本站中的所有数据集的版权都归属于原数据发布者或数据提供方所有。
- 1、如您需要转载本站数据,请保留原数据地址及相关版权声明。
- 1、如本站中的部分数据涉及侵权展示,请及时联系本站,我们会安排进行数据下线。