java将百万级别数据导出到Excel中,用时仅需要98941毫秒

createh54个月前 (02-01)技术教程44

程序员创业记

跟大家分享一款Excel组件,之所以分享这款,是因为它在处理excel时很方便,我将百万数据导出到excel,耗时仅不用两分钟。

poi概述

Apache POI是Apache软件基金会的开放源码函式库,POI提供API给Java程序对Microsoft Office格式档案读和写的功能。


ide: Intellij IDEA

类库需求poi: 3.17


Excel 版本是2007-2010,我们知道,excel一张表最大支持1048576行,16384列。要将百万级别的数据导出到excel,可接近excel单张表的存款大小了。

poi接入到spring boot ,并不复杂,简单两步就可以完成了。

在pom中引入配置,编写个辅助类

1、pom文件

源码如下:

<!-- excel依赖 -->
<dependency>
 <groupId>org.apache.poi</groupId>
 <artifactId>poi</artifactId>
 <version>3.17</version>
</dependency>
<dependency>
 <groupId>org.apache.poi</groupId>
 <artifactId>poi-ooxml</artifactId>
 <version>3.17</version>
</dependency>
<dependency>
 <groupId>org.apache.poi</groupId>
 <artifactId>poi-ooxml-schemas</artifactId>
 <version>3.17</version>
</dependency>
/**
 * POI辅助类
 */
public class POIUtil {
 /**
 * 导出到excel
 * @param filePath 文件存储路径
 * @throws IOException
 */
 public static void exportExcel(String filePath) throws IOException {
 //1.在内存中创建一个excel文件
 SXSSFWorkbook sxssfWorkbook = new SXSSFWorkbook(100);
 //2.创建工作簿
 Sheet sheet = sxssfWorkbook.createSheet("数据");
 for (int i = 0; i < 1000000; i++) {
 Row row = sheet.createRow(i);
 for (int j = 0; j < 11; j++) {
 if(i == 0) {
 //3.创建标题行
 row.createCell(j).setCellValue(" 列" + j);
 } else {
 //4.遍历数据,创建数据行
 if (j == 0) {
 CellUtil.createCell(row, j, String.valueOf(i));
 } else
 CellUtil.createCell(row, j, String.valueOf(getData()));
 }
 }
 }
 FileOutputStream out = new FileOutputStream(filePath);
 sxssfWorkbook.write(out);
 out.close();
 }

 /**
 * 填充数据
 * @return
 */
 public static String getData(){
 DecimalFormat df = new DecimalFormat("######0.00");
 double shoot= Math.random();
 return df.format(shoot);
 }

程序运行入口

public class Main {
 final static String path = "E:\\data.xlsx";

 public static void main(String[] args) throws Exception {
 long beginTime = System.currentTimeMillis();
 POIUtil.exportExcel(path);
 long endTime = System.currentTimeMillis();
 System.out.println("耗时:" + (endTime - beginTime));
 }
}


耗时:98941

一百万条数据,11列,文件大小有30多M。

数据结果


之前处理百万数据的时候,为了方便,直接把数据存入到了内存,可想而知,总是出现oom异常信息,被总监训了一顿,后来找了一些资料,找到了poi组件。

现在好了,使用poi组件,大大提高了性能,也没有出现oom的情况了,总监很满意,客户也很满意,总算给客户一个较好的体验了。

如果你用java实现处理excel数据时,建议你尝试用poi组件试试。

对于excel数据处理,不知道您有没有更好的组件推荐。

由于笔者知识水平有限,文中错漏之处在所难免,如有不足之处,欢迎纠正,感谢。

相关文章

Hutool Java工具类库导出Excel,超级简单

作者:程序猿的内心独白原文链接:http://suo.im/5Zxx2L前言在开发应用系统的时候,导出文件是必不可放的功能。以前用过POI、easyexcel等工具的导入导出功能,但总感觉太麻烦了,代...

java大牛告诉你这样导出excel更加简单高效

1.简述在java开发项目,我们经常会遇到将数据导出到Excel表格的需求 ,比较流行的使用POI、EasyExcel等。Apache POI是一个Java API,用于处理Microsoft Off...

盘点三种Excel转SHP文件的方法(附练习数据下载)

概述数据的获取渠道是多种多样的,获取的数据格式也是多种多样,作为一名GISer,需要熟练掌握各种格式的数据之间的转换,例如本文要介绍的Excel格式的数据,经常会遇到,如果需要转换为SHP格式应该怎么...

【Java技巧】高效数据传输:Java通过绑定快速将数据导出至Excel

前言把数据导出至 Excel 是很常见的需求,而数据的持久化,往往又放在数据库中。因此把数据库中的数据导出到 Excel中,成了非常普遍的一个需求。以关系型数据库为例,数据表是一个二维矩阵,但是为了易...

java bean 一对多,多对一 poi导出excel表格

最近造了个poi导出 excel轮子特点java bean 一对多、多对一关系合并单元行支持图片导出Bean 一对多关系合并行代码public class User { @Excel(nam...

用的处理excel导入导出的Java类库和工具包有哪些

常用的处理excel导入导出的Java类库和工具包有以下几种:Apache POI:一款流行的用于读写Microsoft Office格式文件的Java库。它能够读写Excel、Word和PowerP...