从数据库中读取大字段时,比如Blob,当执行完Query时,生成的ResultSet中就包含了Blob字段的所有内容,这样数据大一点就会内存溢出,我想请问下,能否让ResultSet中获得的不是大字段本身,而是索引之类的东西,这样我可以通过缓存一点一点读取其中内容。
说明一点就是,我知道ResultSet是一条一条数据取的,我的问题是【单条数据】都非常大,比如一个BLob字段很大占一两百m,造成内存溢出。
从数据库中读取大字段时,比如Blob,当执行完Query时,生成的ResultSet中就包含了Blob字段的所有内容,这样数据大一点就会内存溢出,我想请问下,能否让ResultSet中获得的不是大字段本身,而是索引之类的东西,这样我可以通过缓存一点一点读取其中内容。
说明一点就是,我知道ResultSet是一条一条数据取的,我的问题是【单条数据】都非常大,比如一个BLob字段很大占一两百m,造成内存溢出。
[color=blue][b]在MySQL中可以实现,即每次从服务器端读取一定量的数据,而不是一次性读完。
需要的配置:
在获得JDBC连接的时候加入参数:
emulateLocators=true 以及 locatorFetchBufferSize=1048576
说明:
emulateLocators 说明获取BLOB的时候,不一次加载完。
locatorFetchBufferSize 每次读取的大小(字节)[/b][/color]
[b]官方说明:[/b]
[quote]Starting with Connector/J version 3.1.0, you can emulate Blobs with locators by adding the property 'emulateLocators=true' to your JDBC URL. You must then use a column alias with the value of the column set to the actual name of the Blob column in the SELECT that you write to retrieve the Blob. The SELECT must also reference only one table, the table must have a primary key, and the SELECT must cover all columns that make up the primary key. The driver will then delay loading the actual Blob data until you retrieve the Blob and call retrieval methods (getInputStream(), getBytes(), and so forth) on it.[/quote]
[color=blue]自Connector/J version 3.1.0开始,通过在JDBC URL中添加属性“emulateLocators=true”,能够使用定位器模拟Blob。随后,必须使用带有列值的列别名,在你编写的用于检索Blob的SELECT中,将列值设为Blob列的世纪名称。SELECT还必须仅引用1个表,该表必须有1个主键,而且SELECT必须涵盖构成主键的所有列。随后,驱动程序将延期加载实际的Blob数据,直至检索了Blob并在其上调用了检索方法为止(getInputStream(), getBytes(),等)。[/color]