问题遇到的现象和发生背景
从GitHub下载了一个项目来学习:https://github.com/Morizeyao/GPT2-Chinese
在这个项目中的train.py文件中,有一个名为raw的参数,我想让这个参数发挥作用,请问该怎么做?
问题相关代码,请勿粘贴截图
53 parser.add_argument('--raw', action='store_true', help='是否先做tokenize')
99 raw = args.raw # 选择是否从零开始构建数据集
119 if raw:
print('building files')
build_files(data_path=raw_data_path, tokenized_data_path=tokenized_data_path, num_pieces=num_pieces,
full_tokenizer=full_tokenizer, min_length=min_length)
print('files built')
望各位有识之士不吝赐教