常见报表开发工具POI和JXL(JExcel)。本文采用JXL实现导出Excle功能。Excle-2003中对每个工作表的数据量大小有限制,行数最大限制为65536行,列数最大限制为256列。一个工作薄(workbook)可以有多个工作表(sheet)。
实现大批量数据导出Excel的方法
缺点:数据格式不能保证
优点:操作简单
缺点:一个中间文件只能有一个工作表(sheet),合并文件也要耗时。
优点:只要设定好每次请求数据大小,几乎不存在内存溢出问题。
-
导出一个文件,循环分页请求数据,写入excel是分多个工作表(sheet)写入
缺点:对于大量数据虽然利用循环分页的形式处理了一次性读取数据引发的内存溢出问题,但是,由于JXL在写入excel是,都是一次性写入的,所以还是回出现内存溢出问题。
优点:能够实现10万条以内数据导出。
-
导出一个Excel文件的xml形式,另存为.xls文件
实现第3种方法,实现思路:
-
创建一个workbook,先设定导出参数,每次从数据库请求的数据条数,每个工作表放置的最大行数,根据查询记录总数 / 每次请求记录数 = 循环分页请求数据次数。
-
请求后台得到数据,对数据合法性进行保证,jxl导出是,数据字段不能为null。
-
读取数据,创建一个sheet,如果当前的行数大于最大设定行数,则新建一个sheet写入。将数据不断转换为sheet中的单元格label对象。
-
请求数据结束,调用workbook写入方法,关闭workbook,关闭输出流。
下面是封装后的类:
package com.xsm.pub.tool;
import java.io.BufferedOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.Locale;
import java.util.Map;
import jxl.Workbook;
import jxl.WorkbookSettings;
import jxl.write.Label;
import jxl.write.WritableSheet;
import jxl.write.WritableWorkbook;
import jxl.write.WriteException;
import jxl.write.biff.RowsExceededException;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
* @author
* @时间 : 2014-7-24 上午09:23:47
* @功能 : TODO 大数据量导出Excel
public class ExportExcelMassData {
private static final Log log = LogFactory.getLog(ExportExcelMassData.class);
public int totalSize;//总行数
public int firstRow = 0; // 开始请求数据行号
public int getDataTimes;//请求数据次数 totalSize / perPageSize + 1
public int perPageSize = 5000; // 一次请求分页大小
public int perSheetMaxRows = 10000; //每个工作表最大行数
public Map mapTitle = null; //列头
public Map mapColumn = null; //列数据
public List argList = null; //导出数据
//导出流
private OutputStream toClient;
// 得到一个工作薄
private WritableWorkbook workbook;
// 得到一个工作表
private WritableSheet lastSheet;
//总的工作表数目
private int totalSheets = 0;
//最后一行行号
private int lastRow = 0;
public Map getMapTitle() {
return mapTitle;
public void setMapTitle(Map mapTitle) {
this.mapTitle = mapTitle;
public Map getMapColumn() {
return mapColumn;
public void setMapColumn(Map mapColumn) {
this.mapColumn = mapColumn;
public int getTotalSize() {
return totalSize;
public void setTotalSize(int totalSize) {
this.totalSize = totalSize;
public int getPerPageSize() {
return perPageSize;
public void setPerPageSize(int perPageSize) {
this.perPageSize = perPageSize;
public int getPerSheetMaxRows() {
return perSheetMaxRows;
public void setPerSheetMaxRows(int perSheetMaxRows) {
this.perSheetMaxRows = perSheetMaxRows;
public void init(OutputStream os) throws IOException {
// 查询次数
getDataTimes = totalSize / perPageSize + 1;
/* //计算工作表数目
totalSheets = totalSize / perSheetMaxRows + 1;*/
toClient = new BufferedOutputStream(os);
// 得到一个工作薄
workbook = Workbook.createWorkbook(toClient);
if (log.isDebugEnabled()) { log.debug("JXL版本:"+Workbook.getVersion());}
WorkbookSettings ws = new WorkbookSettings();
ws.setLocale(new Locale("en", "EN"));
* @创建人:
* @时间 : 2014-7-24 上午10:18:08
* @功能 : TODO 数据合法性
* @param list
* @return
private List<Map> checkDatas(List<Map> list) {
List<Map> rtnlist = new ArrayList<Map>();;
Map map = null;
Map temp = null;
String key = null;
String value = null; // 值
while (list.size() > 0) {
map = (Map) list.get(0);
temp = new HashMap();
Iterator it = mapTitle.keySet().iterator();
while (it.hasNext()) {
key = (String) it.next();
value = map.get(key) == null ? "" : map.get(key).toString();
temp.put(key, value);
rtnlist.add(temp);
temp = null;
list.remove(0);
return rtnlist;
* @创建人: yinxm
* @时间 : 2014-7-24 上午10:19:45
* @功能 : TODO 写入excel
* @param datas
* @throws RowsExceededException
* @throws WriteException
* @throws IOException
public void writeExcel(List datas) throws RowsExceededException, WriteException, IOException {
List<Map> list = checkDatas(datas);
int length = list.size();
Map map = null;
String key = null;
String value = null; // 值
Label label = null; // 行
int col = 0; // 列
for (int i = 0; i < length; i++) {
if (lastRow >= perSheetMaxRows || lastRow == 0) {// 创建新工作表:当前行数超过本表限制条数,或者初始开始数据
if (log.isDebugEnabled()) { log.debug("创建工作表: " + (totalSheets+1));}
lastSheet = workbook.createSheet(("工作表" + (totalSheets+1)),totalSheets);
// 行数归1,0行为标题头
lastRow = 0;
// 为新工作表加列标题头
Iterator it = mapTitle.keySet().iterator();
while (it.hasNext()) {
key = (String) it.next();
value = new String((String) mapTitle.get(key));
col = Integer.valueOf((String) mapColumn.get(key))
.intValue();
label = new Label(col, lastRow, value);
lastSheet.addCell(label);
// 工作表数 增加
totalSheets = totalSheets + 1;
lastRow++;
map = (Map) list.get(i);
Iterator it = map.keySet().iterator();
while (it.hasNext()) {
key = (String) it.next();
// log.debug("key="+key);
value = new String(map.get(key).toString());
// log.debug("mapColumn.get(key)="+mapColumn.get(key));
col = Integer.valueOf((String) mapColumn.get(key)).intValue();
label = new Label(col, lastRow, value);
lastSheet.addCell(label);
lastRow++;
// 下一次分页请求开始行号位置
firstRow = firstRow + length;
// if (log.isDebugEnabled()) { log.debug("循环一次,下一次行号:"+firstRow);}
toClient.flush();
public void closed() throws IOException, WriteException {
// 关闭流
if (toClient != null) {
toClient.flush();
toClient.close();
if (workbook != null) {
workbook.write();
workbook.close();
public static void main(String[] args) {
long start = System.currentTimeMillis();
ExportExcelMassData tool = null;
try {
tool = new ExportExcelMassData();
// 执行查询操作
List list = new ArrayList();
OutputStream os = new FileOutputStream("test-export.xls");
//excel表头
List<Map> argList = new ArrayList<Map>();
Map<String, String> title = new HashMap<String, String>();
title.put("COL_NUM_ONE", "第一列");
title.put("COL_NUM_TWO", "第二列");
title.put("COL_NUM_THREE", "第三列");
title.put("COL_NUM_FOUR", "第四列");
title.put("COL_NUM_FIVE", "第五列");
argList.add(title);
//组织Excel,各列数据,一个for循环一行
Map<String, String> seqmap = new HashMap<String, String>();
seqmap.put("COL_NUM_ONE", "0");
seqmap.put("COL_NUM_TWO", "1");
seqmap.put("COL_NUM_THREE", "2");
seqmap.put("COL_NUM_FOUR", "3");
seqmap.put("COL_NUM_FIVE", "4");
tool.setTotalSize(80000);//总数8万条,每次请求5000条数据,每个工作表最多1万行
tool.setPerPageSize(5000);
tool.setPerSheetMaxRows(10000);
tool.init(os);
tool.setMapTitle(title);
tool.setMapColumn(seqmap);
System.out.println("请求次数:"+(tool.getDataTimes));
for (int k=0; k<tool.getDataTimes; k++) {
System.out.println("请求数据:"+(k+1)+"\t开始行号:"+tool.firstRow);
//自己模拟获取后台数据,实际应用时,将这段代码换成调用后台分页查询接口获取数据
for (int i=tool.firstRow; (i<(tool.firstRow+tool.perPageSize) && i<8000); i++) {
Map map = new HashMap();
map.put("COL_NUM_ONE",i);
map.put("COL_NUM_TWO", i+1);
map.put("COL_NUM_THREE", i+2);
map.put("COL_NUM_FOUR", new Integer(23));
map.put("COL_NUM_FIVE", new BigDecimal(20));
list.add(map);
//传入一次数据
tool.writeExcel(list);
list.clear();
list = new ArrayList();
}catch (Exception e) {
System.out.println(e.toString());
LogOut.logError(e,true);
} finally {
try {
tool.closed();
} catch (WriteException e) {
System.out.println(e.toString());
LogOut.logError(e,true);
} catch (IOException e) {
System.out.println(e.toString());
LogOut.logError(e,true);
System.out.println("耗时:"+(System.currentTimeMillis()-start));
超过8万条数据报内存溢出错误:
java.lang.OutOfMemoryError: Java heap space
at jxl.write.biff.File.write(File.java:136)
at jxl.write.biff.RowRecord.writeCells(RowRecord.java:296)
at jxl.write.biff.SheetWriter.write(SheetWriter.java:410)
at jxl.write.biff.WritableSheetImpl.write(WritableSheetImpl.java:1165)
at jxl.write.biff.WritableWorkbookImpl.write(WritableWorkbookImpl.java:805)
at org.test.pub.tool.ExportExcelMassData.closed(ExportExcelMassData.java:198)
at org.test.pub.tool.ExportExcelMassDataMainTest.main(ExportExcelMassDataMainTe
st.java:91)
Exception in thread "main" java.lang.RuntimeException: java.lang.OutOfMemoryErro
r: Java heap space
at jxl.write.biff.File.write(File.java:147)
at jxl.write.biff.RowRecord.writeCells(RowRecord.java:296)
at jxl.write.biff.SheetWriter.write(SheetWriter.java:410)
at jxl.write.biff.WritableSheetImpl.write(WritableSheetImpl.java:1165)
at jxl.write.biff.WritableWorkbookImpl.write(WritableWorkbookImpl.java:805)
at org.test.pub.tool.ExportExcelMassData.closed(ExportExcelMassData.java:198)
at org.test.pub.tool.ExportExcelMassDataMainTest.main(ExportExcelMassDataMainTe
st.java:91)
Caused by: java.lang.OutOfMemoryError: Java heap space
at jxl.write.biff.File.write(File.java:136)
... 6 more
一般导出Excel可以选择POI或者JXL,poi比较方便但是处理大数据量效果不佳,jxl可以支持较大数据量,但是超过5W条也会报OOM错误。
那么如果有上百万条的数据怎么到处Excel呢?
其实Excel可以保存成HTML格式的文档(包括图片),我们可以研究html文件格式,然后用io方式往里面输出数据就可以了。
html格式如下:
<html xmlns:v="urn:sc...
最近因项目需要需生成excel文件,首先采用了jxl来实现需求,但是在实施时,发现,当导出的数据相当大的时候,会导出内存溢出。经过详细的分析。后来得出jxl在处理大数据的时候很难适应这种需求。这时,采用文本的形式生成文件将会是更好的解决方案。一下是测试的数据。 无样式、数据格式处理
大数据量导出Excel可以采用POI、JXL等等开源框架。目前,在项目中采用的是POI。
客户要求导出5w条数据,考虑到并发,这对于系统内存是个挑战,系统使用tomcat,据说tomcat的jvm内存只能升级为2g有待考证。
在网上google了半天,将结果总结如下:
1、可以采用分批导出,从IBatis取出数据后,List分为几个subList,或者直接分页多次查出集合,...
前言:导出Excle表格可以说是特别常见的功能了,对于一些表格格式比较复杂的情况。使用Jxls可以很方便的帮你完成。下面就开始分享下完整的案列。
jxls是一个简单的、轻量级的excel导出库,使用特定的标记在excel模板文件中来定义输出格式和布局。
还可以使用一些工具很轻松的实现模板导出。这些工具现在还在维护,而且做得比较好的国内的有easyPOI,国外的就是这个JXLS了。
项目中有很多复杂的报表(大量单元格合并和单元格样式),easyPOI处理合并单元格时候容易出现残损的情况,poi代码维护
POI或者JXL在导出大量数据的时候,由于它们将每一个单元格生都成一个Cell对象,所以很容易导致内存溢出。
1、通过jx1最新版本的采用临时文件写入EXCEL功能,设定临时文件的位置,可以有效的避免内存溢出:
wbSetting.setUseTemporaryFileDuringWrite(true); wbSetting.setTempo...
摘要:本文讲述的是如何使用开源项目JXSL来对Excel及其内部的数据进行操作,本人整理汇总自网络。 JXLS项目主页:http://sourceforge.net/projects/jxls/JXL的基本功能:● 支持Excel 95-2000的所有版本 ● 生成Excel 2000标准格式 ● 支持字体、数字、日期操作 ● 能够修饰单元格属性 ● 支持图像和图表 应
问题描述:java导出大量数据出现错误:jxl.write.biff.RowsExceededException: The maximum number of rows permitted on a works
问题解释:这个问题实质上就是在导出数据的时候数据的最大值超出了jxl.write包中预设的sheet表格的最大值后者是内存溢出问题,是因为一次性将大量数据载入到内存中,导致虚拟内存不足。
http://www.chendd.cn/information/viewInformation/other/225.a
前文中我们说道的${name}只作为一个变量存在,可作为一个格子的内容数据来显示,而实际应用中更多的则会是循环列表的数据,这就是本章节所要讲述的使用each来循...
阅读文本大概需要3分钟。来源:https://www.cnblogs.com/barrywxx/p/10700283.html使用POI或JXLS导出大数据量(百万级)Excel报表常常...