java将百万级别数据导出到Excel中,用时仅需要98941毫秒

createh53个月前 (02-01)技术教程24

程序员创业记

跟大家分享一款Excel组件,之所以分享这款,是因为它在处理excel时很方便,我将百万数据导出到excel,耗时仅不用两分钟。

poi概述

Apache POI是Apache软件基金会的开放源码函式库,POI提供API给Java程序对Microsoft Office格式档案读和写的功能。


ide: Intellij IDEA

类库需求poi: 3.17


Excel 版本是2007-2010,我们知道,excel一张表最大支持1048576行,16384列。要将百万级别的数据导出到excel,可接近excel单张表的存款大小了。

poi接入到spring boot ,并不复杂,简单两步就可以完成了。

在pom中引入配置,编写个辅助类

1、pom文件

源码如下:

<!-- excel依赖 -->
<dependency>
 <groupId>org.apache.poi</groupId>
 <artifactId>poi</artifactId>
 <version>3.17</version>
</dependency>
<dependency>
 <groupId>org.apache.poi</groupId>
 <artifactId>poi-ooxml</artifactId>
 <version>3.17</version>
</dependency>
<dependency>
 <groupId>org.apache.poi</groupId>
 <artifactId>poi-ooxml-schemas</artifactId>
 <version>3.17</version>
</dependency>
/**
 * POI辅助类
 */
public class POIUtil {
 /**
 * 导出到excel
 * @param filePath 文件存储路径
 * @throws IOException
 */
 public static void exportExcel(String filePath) throws IOException {
 //1.在内存中创建一个excel文件
 SXSSFWorkbook sxssfWorkbook = new SXSSFWorkbook(100);
 //2.创建工作簿
 Sheet sheet = sxssfWorkbook.createSheet("数据");
 for (int i = 0; i < 1000000; i++) {
 Row row = sheet.createRow(i);
 for (int j = 0; j < 11; j++) {
 if(i == 0) {
 //3.创建标题行
 row.createCell(j).setCellValue(" 列" + j);
 } else {
 //4.遍历数据,创建数据行
 if (j == 0) {
 CellUtil.createCell(row, j, String.valueOf(i));
 } else
 CellUtil.createCell(row, j, String.valueOf(getData()));
 }
 }
 }
 FileOutputStream out = new FileOutputStream(filePath);
 sxssfWorkbook.write(out);
 out.close();
 }

 /**
 * 填充数据
 * @return
 */
 public static String getData(){
 DecimalFormat df = new DecimalFormat("######0.00");
 double shoot= Math.random();
 return df.format(shoot);
 }

程序运行入口

public class Main {
 final static String path = "E:\\data.xlsx";

 public static void main(String[] args) throws Exception {
 long beginTime = System.currentTimeMillis();
 POIUtil.exportExcel(path);
 long endTime = System.currentTimeMillis();
 System.out.println("耗时:" + (endTime - beginTime));
 }
}


耗时:98941

一百万条数据,11列,文件大小有30多M。

数据结果


之前处理百万数据的时候,为了方便,直接把数据存入到了内存,可想而知,总是出现oom异常信息,被总监训了一顿,后来找了一些资料,找到了poi组件。

现在好了,使用poi组件,大大提高了性能,也没有出现oom的情况了,总监很满意,客户也很满意,总算给客户一个较好的体验了。

如果你用java实现处理excel数据时,建议你尝试用poi组件试试。

对于excel数据处理,不知道您有没有更好的组件推荐。

由于笔者知识水平有限,文中错漏之处在所难免,如有不足之处,欢迎纠正,感谢。

相关文章

Hutool Java工具类库导出Excel,超级简单

作者:程序猿的内心独白原文链接:http://suo.im/5Zxx2L前言在开发应用系统的时候,导出文件是必不可放的功能。以前用过POI、easyexcel等工具的导入导出功能,但总感觉太麻烦了,代...

【干货】如何使用Java实现百万数据的Excel导出功能?

Java作为一种常用的编程语言,在实现大量数据导出功能时具有很高的效率和可扩展性。本文将介绍如何使用Java实现百万数据的Excel导出功能。一、需求分析在很多实际应用场景中,我们需要将大量数据导出到...

程序员:超级简单导出Excel 工具,Hutool Java工具类库

前言在开发应用系统的时候,导出文件是必不可放的功能。以前用过POI、easyexcel等工具的导入导出功能,但总感觉太麻烦了,代码特别多,感觉并不是很好用。今天给大家介绍一款新工具,java工具类库H...

【Java技巧】高效数据传输:Java通过绑定快速将数据导出至Excel

前言把数据导出至 Excel 是很常见的需求,而数据的持久化,往往又放在数据库中。因此把数据库中的数据导出到 Excel中,成了非常普遍的一个需求。以关系型数据库为例,数据表是一个二维矩阵,但是为了易...

java百万千万级别excel导出问题(导出慢和Out Of Memory内存溢出)

目录业务场景原因分析解决思路优化后效果实现代码DEMO业务场景由于很多业务需要导出数据库里的数据,一般我们导出的数据都是要给业务部门看的,他们也会拿到做一些数据统计,所以一般都是给他们导出Excel格...

原来用hutool导入导出Excel这么丝滑!

1. hutool 工具介绍unset这个我就不用过多介绍了,它是一个非常好用的 Java 工具类库。我们在日常工作中用到的工具类,他都有。官网:https://plus.hutool.cn/ uns...