数据结构 ?
1.11G
Data Structure ?
* 以上分析是由系统提取分析形成的结果，具体实际数据为准。
README.md
WikiText语言建模数据集是从维基百科上一组经过验证的好文章和特色文章中提取的超过1亿个令牌的集合。
与宾夕法尼亚树库（PTB）的预处理版本相比，WikiText-2大了2倍多，WikiText-103大了110倍多。WikiText数据集还具有更大的词汇表，并保留了原始的大小写、标点符号和数字，所有这些都在PTB中删除了。由于该数据集由完整的文章组成，因此非常适合于可以利用长期依赖关系的模型。
Published results: WikiText-103
Validation and testing perplexities for WikiText-103. Lower is better.
| Publication | Model | Parameters | Validation | Testing |
|---|---|---|---|---|
| Grave et al. 2016 | LSTM | - | - | 48.7 |
| Grave et al. 2016 | Neural cache model (size = 100) | - | - | 44.8 |
| Grave et al. 2016 | Neural cache model (size = 2000) | - | - | 40.8 |
Published results: WikiText-2
Validation and testing perplexities for WikiText-2. Lower is better.
| Publication | Model | Parameters | Validation | Testing |
|---|---|---|---|---|
| Merity et al. 2016 | Zoneout + Variational LSTM | 20M | 108.7 | 100.9 |
| Grave et al. 2016 | LSTM | - | - | 99.3 |
| Merity et al. 2016 | Variational LSTM (code from Gal 2015) | 20M | 101.7 | 96.3 |
| Grave et al. 2016 | Neural cache model (size = 100) | - | - | 81.6 |
| Merity et al. 2016 | Pointer LSTM (window = 100) | 21M | 84.8 | 80.8 |
| Grave et al. 2016 | Neural cache model (size = 2000) | - | - | 68.9 |
Dataset statistics
In comparison to
the Mikolov processed version of the Penn Treebank (PTB), the WikiText
datasets are larger. WikiText-2 aims to be of a similar size to the PTB
while WikiText-103 contains all articles extracted from Wikipedia. The
WikiText datasets also retain numbers (as opposed to replacing them with N), case (as opposed to all text being lowercased), and punctuation (as opposed to stripping them out).
| Penn Treebank | WikiText-2 | WikiText-103 | |||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | Valid | Test | Train | Valid | Test | Train | Valid | Test | |
| Articles | - | - | - | 600 | 60 | 60 | 28,475 | 60 | 60 |
| Tokens | 887,521 | 70,390 | 78,669 | 2,088,628 | 217,646 | 245,569 | 103,227,021 | 217,646 | 245,569 |
| Vocab | 10,000 | 33,278 | 267,735 | ||||||
| OoV | 4.8% | 2.6% | 0.4% | ||||||
Citation credit
Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. 2016. Pointer Sentinel Mixture Models
Contact information
If you have questions about the dataset or want to report new results, contact Stephen Merity.
- 分享你的想法
全部内容
数据使用声明：
- 1、该数据来自于互联网数据采集或服务商的提供，本平台为用户提供数据集的展示与浏览。
- 2、本平台仅作为数据集的基本信息展示、包括但不限于图像、文本、视频、音频等文件类型。
- 3、数据集基本信息来自数据原地址或数据提供方提供的信息，如数据集描述中有描述差异，请以数据原地址或服务商原地址为准。
- 1、本站中的所有数据集的版权都归属于原数据发布者或数据提供方所有。
- 1、如您需要转载本站数据，请保留原数据地址及相关版权声明。
- 1、如本站中的部分数据涉及侵权展示，请及时联系本站，我们会安排进行数据下线。
VIP下载(最低0.24/天)
下载数据集
25 
231浏览
0下载
0点赞
收藏
分享