yca2220206 2014-06-12 03:13 采纳率: 0%
浏览 2185

集思广益,有个几百万关键字的文本匹配的算法,大家进来看看

关键字 都是放在一个数组中的,譬如$keyword_arr=["key1","key2","example",......],大约有几百万甚至上千万的关键字,这些关键字已经按照优先级从前到后排列了,越靠前的关键字优先匹配,匹配的最多次数是$max次;目前采用for循环$keyword_arr数组,然后将关键字组装成'/\b(?:'.$value.')\b/i';正则来匹配文本内容$text;如果已经匹配了$max次了,就停止匹配。

这个算法肯定是最低效的,大家有好的建议可以提出来,主要问题是关键字优先级有点麻烦

php: 目前采用正则匹配:

        foreach ($keyword_arr as $key=>$value) {
            $pattern = '/\\b(?:'.$value.')\\b/i';
            preg_match($pattern, $text, $match, PREG_OFFSET_CAPTURE);
            if ($match && trim($match[0][0]) != '' && !in_array(strtolower($match[0][0]), $match_keyword_arr)) {
                $match_keyword_arr[] = strtolower($match[0][0]);
                $count ++;
                if ($count >= $max) {
                    break;
                }
        }
  • 写回答

1条回答 默认 最新

  • kevin_Luan 2014-06-15 10:35
    关注

    类似这种处理不建议正则,大量使用正则会消耗很高的CPU。
    优化方法:
    建议使用状态机的方式实现。其实你的需求简单理解为通过一批关键字匹配关键字然后处理后续的业务等。

    我之前处理相似的业务
    1. 写了一个StringToken处理类
    http://blog.csdn.net/kevin_luan/article/details/26875341
    2. 敏感词过滤
    http://download.csdn.net/detail/kevin_luan/7322435

    我使用JAVA写的,不过PHP同样可以实现相似的业务,希望对你有所启发。

    评论

报告相同问题?

悬赏问题

  • ¥15 python天天向上类似问题,但没有清零
  • ¥30 3天&7天&&15天&销量如何统计同一行
  • ¥30 帮我写一段可以读取LD2450数据并计算距离的Arduino代码
  • ¥15 C#调用python代码(python带有库)
  • ¥15 矩阵加法的规则是两个矩阵中对应位置的数的绝对值进行加和
  • ¥15 活动选择题。最多可以参加几个项目?
  • ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
  • ¥15 vs2019中数据导出问题
  • ¥20 云服务Linux系统TCP-MSS值修改?
  • ¥20 关于#单片机#的问题:项目:使用模拟iic与ov2640通讯环境:F407问题:读取的ID号总是0xff,自己调了调发现在读从机数据时,SDA线上并未有信号变化(语言-c语言)