2018.10.24
之前主要是做了一些数据处理方面的工作，搭好了公司这边的一台GPU的机器，然后做了一个简单的实验。
实验主要是使用textcnn对句子进行分类，纯文本分类的方法用到关系抽取的任务上来。效果果然不好:
| type | loss | acc |
|---|---|---|
| train | 0.02 | 0.99 |
| vld | 2.17 | 0.62 |
| test | 2.5 | 0.52 |
猜测是纯文本分类的方法（使用cnn）work是因为句型句式中包含了一些分类能用得上的信息，对于关系抽取这种句式多变没有特定的句型的任务就不work了，所以导致很严重的过拟合。如图：
然后加上了entity本身第一个词语和句子各个词语对两个实体的相对位置序列，效果有一点点提升，提前终止：
| type | loss | acc |
|---|---|---|
| train | 0.69471 | 0.75679 |
| vld | 0.82529 | 0.72166 |
下一步工作：
- Nguyen, (2015). Relation Extraction: Perspective from Convolutional Neural Networks.
- 加上Rank Loss
- lstm的尝试
- 加上self-attention
- 使用transformer
- 使用新出的bret