阿里云Dataworks如何解决笛卡尔积查询

Question

背景：

有两张表，分别是大表约为5000万行以上，另外一张表有1000行左右。

目标：

查询大表中某个字段中包含小表中值的情况

MySQL：

select a.id from dev.ods_user_base as a,dev.sentive as b where a.name like CONCAT('%',b.value,'%');

报错：不允许使用笛卡尔积，需要使用mapjoin

修改后代码依然不行：

select /*+ mapjoin(a) */ a.id from dev.ods_user_base as a join dev.sentive as b on 1=1 where a.username like CONCAT('%',b.value,'%');

大家有没有其他做法？

Answer 1

参考：https://help.aliyun.com/document_detail/73785.html

笛卡尔积浪费资源，所以阿里云会禁止使用，

mapjoin最多支持指定128张小表，否则也会报语法错误。

 

小表如果数量不大的话，可以使用for循环遍历来处理