问大家一个 memcached 缓存策略

Question

问题是这样的：

我有一个 IP 地址库（里面有近 40万 条IP地址记录），表结构是这样的：
[color=darkred]
id —— 主键，自增长
fromip —— ip地址段的开始值（long型的-将ip地址转换成long型存入的）
toip —— ip地址段的结束值（long型的）
unit —— 该ip段分配给的单位名称[/color]

我主要的任务就是：查询一个IP地址在哪个IP地址段范围内，并给出其分配的单位名称。
SQL语句类似这样（[color=darkblue]976362050 ——是一个IP地址的long型值[/color]）：

[color=darkred]select unit from ipglobe where fromip < 976362050 and toip > 976362050[/color]

因为要大量查询一些IP地址在哪个IP地址段范围内，所以如果每次都从数据库近40万条记录中检索，速度很慢。

于是就想采用 memcached 缓存策略，但是想了好几天，也没有想到该如何缓存这些数据？

曾经想到这样一个方法：
[color=darkblue]将近40万记录以 key = "fromip#toip" value="unit" 形式存放，然后遍历所有的 key ，取key分离出fromip和toip，然后判断给的IP值是否在该key的范围内。[/color]

但是后来发现遍历memcached中所有的 key 是不行的，所以想请教一下该怎么设计存储策略？？ （我用的是 Java 语言）

Answer 1

1.你可不可以通过一个KEY,VALUE为FORMIP,TOIP组装成一个字串

遍历memcached中所有的 key 是行的,看看下面这个方法

// memcache中的KEY遍历(当前slab)
// 一个SLAB中包含 多个dump
public static void keySet() {
    Set<String> keys = new HashSet<String>();
    Map<String, Integer> dumps = new HashMap<String, Integer>();
    // 获取所有的slab(由服务器地址:端口号组成KEY，dump信息组成value)
    Map slabs = getMemCachedClient().statsItems();

    Iterator itemsItr = slabs.keySet().iterator();
    // 用来收集所有slab的dump号
    while (itemsItr.hasNext()) {
        String server = itemsItr.next().toString();
        Map itemNames = (Map) slabs.get(server);
        System.out.println(itemNames);
        Iterator itemNameItr = itemNames.keySet().iterator();
        while (itemNameItr.hasNext()) {
            String itemName = itemNameItr.next().toString();

            String[] itemAtt = itemName.split(":");
            // 如果是itemName中是:number来表示，那么证明是一个存储数据的dump，还有一些是age的部分
            if (itemAtt[2].startsWith("number")) {
                System.out.println(itemAtt[1] + "        " + Integer.parseInt(itemAtt[1]));
                // put dump区号
                dumps.put(itemAtt[1], Integer.parseInt(itemAtt[1]));
            }
        }
    }
    // 根据收集到的dump来获取keys
    if (!dumps.values().isEmpty()) {
        Iterator<Integer> dumpIter = dumps.values().iterator();
        while (dumpIter.hasNext()) {
            int dump = dumpIter.next();
            // statsCacheDump支持三个参数String[],int,int，第一个参数可以省略，默认填入null，表示从那些slab中获取dump号为第二个参数的keys，如果是null就从当前所有的slab中获取。
            // 第二个参数表示dump号，第三个参数表示返回最多多少个结果。
            // {127.0.0.1:11211={DD=[2 b; 1223911432 s], AA=[2 b; 1223911432 s], BB=[2 b; 1223911432 s]}}
            Map cacheDump = getMemCachedClient().statsCacheDump(dump, 10);
            System.out.println(cacheDump);
            Iterator entryIter = cacheDump.values().iterator();
            while (entryIter.hasNext()) {
                Map items = (Map) entryIter.next();
                Iterator ks = items.keySet().iterator();
                while (ks.hasNext()) {
                    String k = (String) ks.next();
                    try {
                        // 这里为什么要作decode，因为其实在我使用的这个java客户端存储的时候，默认会把key都作encoding一次，所以必须要做，不然会出现问题。
                        k = URLDecoder.decode(k, "UTF-8");
                        // key 对应的VALUE是这个值的长度，过期时间
                        System.out.println(k);
                    } catch (Exception ex) {
                        ex.printStackTrace();
                    }

                }
            }
        }

    }

}