moses训练过程第七步构建重新排序模型有问题

Question

Executing: rm -f /home/dbwen/moses/working/train/model/phrase-table.half.*
(7) learn reordering model @ Tue Apr 16 00:28:52 CST 2024
(7.1) [no factors] learn reordering model @ Tue Apr 16 00:28:52 CST 2024
(7.2) building tables @ Tue Apr 16 00:28:52 CST 2024
Executing: /home/dbwen/moses/mosesdecoder/scripts/../bin/lexical-reordering-score /home/dbwen/moses/working/train/model/extract.o.sorted.gz 0.5 /home/dbwen/moses/working/train/model/reordering-table. --model "wbe msd wbe-msd-bidirectional-fe"
Lexical Reordering Scorer
scores lexical reordering models of several types (hierarchical, phrase-based and word-based-extraction
terminate called after throwing an instance of 'util::ErrnoException'
  what():  util/file.cc:74 in int util::OpenReadOrThrow(const char*) threw ErrnoException because `-1 == (ret = open(name, 00))'.
No such file or directory while opening /home/dbwen/moses/working/train/model/extract.o.sorted.gz
Aborted (core dumped)
Exit code: 134
ERROR: Lexical reordering scoring failed at /home/dbwen/moses/mosesdecoder/scripts/training/train-model.perl line 1924.

Answer 1

引自免费微信小程序：皆我百晓生

看起来你在运行Moses机器翻译工具包中的训练脚本时遇到了问题。错误信息表明在执行lexical-reordering-score命令时出现了问题，具体是找不到/home/dbwen/moses/working/train/model/extract.o.sorted.gz文件。

为了解决这个问题，你需要确保extract.o.sorted.gz文件存在并且路径正确。这个文件是在构建短语表的过程中产生的，通常位于指定的工作目录下的model子目录里。根据你的日志， seventh step (7) 应该负责创建这个词序模型。如果文件不存在，可能是因为之前的步骤（比如构建短语表）出错或者被意外删除了。

这里有几个可能的解决步骤：

1. 检查前一步骤： 确认第六步（构建短语表）是否成功完成。如果没有，你需要找出并修复导致短语表构建失败的原因。可以查看第六步的日志输出，确认是否有任何错误消息。

2. 重新构建短语表： 如果短语表存在问题，你可以尝试重新构建它。使用以下命令：

   perl scripts/generic/multi-parallel-phrase-table.perl \
     -threads 4 \
     -i training/corpus.src \
     -j training/corpus.trg \
     -o working/train/model/phrase-table \
     -e 50000 \
     -s 50000
   

   这个命令会根据给定的源语言（src）和目标语言（trg）语料库文件创建短语表。将training/corpus.src和training/corpus.trg替换为你的实际语料库文件路径。如果你的语料库已经分词且格式正确，这个命令应该能正常工作。

3. 检查权限与路径： 确保你有对所有涉及的文件和目录的读写权限，并且路径没有拼写错误。有时候，路径错误可能会导致这样的问题。

4. 清理旧的临时文件： 在某些情况下，遗留的临时文件可能会导致问题。你可以尝试删除工作目录中的所有临时文件，然后从头开始训练：

   cd /home/dbwen/moses/working/train
   rm -rf *
   

5. 验证Moses版本： 最后，确认你使用的Moses版本是最新的，如果不是，更新到最新版可能有助于解决问题。

执行上述步骤后，再次运行完整的训练流程。如果问题仍然存在，请提供更详细的日志，以便更好地分析可能的问题所在。