2 qq 40004754 qq_40004754 于 2017.08.31 10:12 提问

请教:mysql有没有能把一篇几百万字的文章分成200W条数据的方法

或者有没有哪款软件能分又能插入mysql的,谢谢各位大佬了!

4个回答

fcfwang_net
fcfwang_net   2017.08.31 10:19

可以使用elasticsearch ,然后将分词之后的数据存回去。只是一个想法,你可以试一下

qq_40004754
qq_40004754 好的 ,多谢大佬指导!!
3 个月之前 回复
asymptotic_1234
asymptotic_1234   2017.08.31 10:25

自己写方法,按照自己的要求,拆分一下,存到数据库,然后取得时候,自己在按顺序拼接,行不。

qq_40004754
qq_40004754 那我要怎么比如把500W字分成200W条数据呢,方法具体是写什么呢??
3 个月之前 回复
huang931027
huang931027   2017.08.31 10:32

我感觉把这种事情交给数据库去做不好,不能让服务端去拆分吗,然后再存,这样拆分是可控的

qq_40004754
qq_40004754 是呀是呀,可上头把这任务发给我做,没办法呀
3 个月之前 回复
qq_27718453
qq_27718453   2017.08.31 10:49

写个存储过程,以字符串处理的方式,将数据以指定方式分割(如分成200W条数据,每次要拿出多少字,循环截取),并为每条字符串加上ID。
读的时候,根据ID顺序读取就好了。思路是这样,还要根据你的存储方式来写。

qq_40004754
qq_40004754 回复庄粟: 因为我的数据是散的在文本.txt里,可是数据库的一个表一行只能最多存2W个字,难道2W个字再分割成每行10个字2000行吗?
3 个月之前 回复
qq_27718453
qq_27718453 建议直接写成存储过程,外部代码(如java)程序调用,500W字以参数的形式传进来。当然,如果数据在文本里而且不经过外部代码中转处理,就用你的办法。
3 个月之前 回复
qq_40004754
qq_40004754 诶 ,大佬我要怎么做,我要先把一篇500W字的文章存进数据库的表里,然后对该表使用函数进行分割吗?
3 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片