PHP+MYSQL全文索引下的搜索出错问题排查。

Question

SELECT * FROM data_1 WHERE MATCH (毕业学校,家庭住址) AGAINST ('+"西安・交通大学" +"（北京、工业大学）" +"西安（高新区）"' IN BOOLEAN MODE)
SELECT * FROM data_1 WHERE MATCH (毕业学校,家庭住址) AGAINST ('+"西安・" +"北京、工业大学）" +"西安（"' IN BOOLEAN MODE)
SELECT * FROM data_1 WHERE MATCH (毕业学校,家庭住址) AGAINST ('+"西安・" +"北京、工业大学" +"西安（"' IN BOOLEAN MODE)
SELECT * FROM data_1 WHERE MATCH (毕业学校,家庭住址) AGAINST ('+"西安・" +"北京、工业大学" +"西安"' IN BOOLEAN MODE)

以上sql语句都找不到

SELECT * FROM data_1 WHERE MATCH (毕业学校,家庭住址) AGAINST ('+"西安" +"北京" +"高新区"' IN BOOLEAN MODE)
SELECT * FROM data_1 WHERE MATCH (毕业学校,家庭住址) AGAINST ('+"西安・" +"北京、" +"西安（"' IN BOOLEAN MODE)

以上这两条sql语句则可以找到

全文索引已经重新做过 create fulltext index search_index_fulltext1 on data_1(毕业学校,家庭住址) with parser ngram;
之所以使用ngram分词是因为我的字段内容既有中午也有日文。

在my.ini里面也已添加这一句 ft_stopword_file=E:\phpstudy_pro\Extensions\MySQL8.0.12\share\stopwords.txt

环境是php7.4.3 + mysql8.0.12

通过最后一条成功的sql看，似乎不能说是由于"・ 、（ ）" 等特殊符号引起的查询错误，但好像又有影响，怎么消除这种影响呢？

因为我最希望用的语句是第一条【 SELECT * FROM data_1 WHERE MATCH (毕业学校,家庭住址) AGAINST ('+"西安・交通大学" +"（北京、工业大学）" +"西安（高新区）"' IN BOOLEAN MODE)】，原因是我的数据结构大多数是这样的，我的搜索条件输入界面的自动完成提示给出的数据也是这样的带括号或带点的。

之所以要用MATCH ...AGAINST的方式查询，是因为毕业学校和家庭住址内的数据有很多空格，不用全文搜索不行，但要用全文搜索又想走索引就只能用这种方式。

也肯定不是字符编码的问题，因为我都确认和确保了数据库和前端查询时都统一使用的是UTF-8编码。

Answer 1

这个问题可能是由于 MySQL 使用的分词器(ngram)不能正确处理字符串中的特殊符号"・ 、（ ）"导致的。可能需要使用不同的分词器或者更改分词器的配置来解决这个问题。

另外，您可以尝试将查询语句中的特殊符号替换为其他字符，例如空格，来消除这种影响。

另外，您可以使用REPLACE()函数将字符串中的特殊符号替换为其他字符，例如空格。

SELECT * FROM data_1 WHERE MATCH (REPLACE(毕业学校,'・',' '),REPLACE(家庭住址,'・',' ')) AGAINST ('+"西安 交通大学" +"（北京 工业大学）" +"西安（高新区）"' IN BOOLEAN MODE);

试试这个语句，看看能不能得到您想要的结果。

另外，您可以在查询语句中使用LIKE操作符来查找字符串中的特定字符串，而不是使用全文索引。

最后，您可以在查询语句中使用正则表达式来查找字符串中的特定字符串，而不是使用全文索引。

Answer 2

.和顿号好像不是sql语句中的特殊字符，有没可能是其它方面的问题。

Answer 3

可以尝试使用REPLACE()函数来替换那些特殊符号，或者将其转换为空格。例如：

SELECT * FROM data_1 WHERE MATCH (毕业学校,家庭住址) AGAINST (REPLACE('+"西安・交通大学" +"（北京、工业大学）" +"西安（高新区）"', '・', ' ') IN BOOLEAN MODE)

Answer 4

似乎解决了，在接收数据部分，加了个替换，把特殊字符替换成空格，再组合MATCH....AGAINST部分，在遍历关键词数组之前添加一个过滤空元素的步骤。例如使用 array_filter() 函数过滤掉数组中的空元素。这样就可以走全文索引了。希望不会有bug。

$fields = array(
    "name1" => "字段1", 
    "name2" => "字段2",
    "name3" => "字段3",
    "name4" => "字段4",
    "name5" => "字段5",
    "name6" => "字段6",
    "name7" => "字段7",
    "name8" => "字段8",
    "name9" => "字段9"
);
$keywords = array();
foreach ($fields as $name => $field) {
if (isset($_POST[$name]) && !empty($_POST[$name])) {
$keywords[$field] = preg_replace('/[・、（）]/u', ' ', $_POST[$name]);
$keywords[$field] = explode(" ", $keywords[$field]);
$keywords[$field] = '+"' . implode('" +"', array_filter($keywords[$field])) . '"';
if (isset($_SESSION['query_rs'])) {
unset($_SESSION['query_rs']);
}
}
}

$query_rs = "";
if (!empty($keywords)) {
$query_rs = "MATCH (" . implode(",", array_keys($keywords)) . ") AGAINST ('" . implode(" ", $keywords) . "' IN BOOLEAN MODE)";
}