这是indexloc提供的服务,不要输入任何密码
Skip to content

请问博主,测试样本有650条,但是输出output文件只有645个结果,请问是哪里被截断了吗? #7

@pymLovelyq

Description

@pymLovelyq

loading weights file bert/chinese_bert/pytorch_model.bin
[2021-06-11 21:12:15,450 INFO] loading Word2VecKeyedVectors object from pretrain_emb/word2vec
[2021-06-11 21:12:15,493 INFO] setting ignored attribute vectors_norm to None
[2021-06-11 21:12:15,493 INFO] loaded pretrain_emb/word2vec
[2021-06-11 21:12:20,943 INFO] Loading test dataset from bert_data/ali.test.0.bert.pt, number of examples: 650

结果只有645个输出,然后对比了下,发现是样本中不是存在中间某几个测试样本被抛弃了?还是没有生成?
个人初步怀疑是对话太长了,导致整个被截断了,然后没有生成?
但是改了几个参数,发现max设置成很大,依然只有645个样本输出,请问博主知道是什么问题吗?或者有什么思路?谢谢!!!

(测试另外一个数据集,也出现类似的情况,少了10条测试样本的结果数据)

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions