词法分析器将回车符视为未定义代码，如何解决？

Question

在写词法分析器时，flex.l部分规则代码如下：

\n      {
    addChar(1);
    addLine(1);
    clearColumn();
}

（即定义了回车符的处理代码）
但在分析测试文件时，每一行都会报错：Error type A at Line %d: Mysterious characters '
'
（即将回车符视为未定义字符）
将上述规则代码拆解为定义和规则两部分：

rn \n
……
{rn}      {
    addChar(1);
    addLine(1);
    clearColumn();
}

依然报错，请问要如何解决？

Answer 1

引自免费微信小程序：皆我百晓生

面对词法分析器将回车符视为未定义代码的问题，我们可以通过调整Flex的定义和规则来解决。在Flex中，正则表达式的匹配是贪婪的，这意味着它会尽可能多地匹配字符，直到遇到一个规则停止。当你的规则没有正确地覆盖所有情况时，Flex可能跳过某些字符，导致未定义字符的错误。

在你提供的代码片段中，你已经尝试将\n定义为一个单独的token，并且在规则中处理它。然而，你仍然遇到了错误。这可能是因为你的规则没有被正确地识别或优先级问题。为了解决这个问题，我们可以尝试以下步骤：

1. 确保\n的规则是最先被检查的：Flex按照规则的顺序进行匹配，所以把\n的规则放在最前面可以确保它首先被处理。

2. 检查其他规则：确保没有其他规则会意外地匹配\n。例如，如果你有规则像[^\n]*，它可能会匹配包括\n在内的任何字符，从而阻止\n的规则被触发。

3. 明确指定\n的处理方式：有时候，明确比隐含更有效。在Flex的定义部分，使用\n作为独立的token，然后在规则部分明确地处理这个token。

下面是修改后的代码示例，遵循上述原则：

%{
#include "y.tab.h"
void addChar(int c);
void addLine(int n);
void clearColumn();
%}

%%

\n      { /* 处理换行符 */
    addChar(1);
    addLine(1);
    clearColumn();
}

[^\n]*   { /* 处理非换行符，这里可能需要根据实际需求调整 */
    /* 你的处理代码 */
}

/* 其他规则 */

%%

int yywrap(void) {
    return 1;
}

在这个例子中，\n的处理规则被放在了最前面，以确保它优先于其他规则被匹配。同时，[^\n]*规则被设计为只匹配非换行符，这样就不会与\n的规则冲突。

请尝试这个修改后的代码，并确保它符合你的具体需求。如果还有问题，可能需要进一步检查你的其他规则，确保它们不会干扰\n的正确处理。 如果以上修改仍然不能解决问题，建议仔细检查你的测试文件内容以及addChar, addLine, 和 clearColumn函数的实现，确认它们是否能正确处理接收到的输入。同时，确保你的Flex版本与你的代码兼容，有时编译器或解释器的版本差异也会影响结果。