JAVA POI实现大数据量excel文件读写及导出
Apache POI 是一个流行的 Java 库，用于处理 Microsoft Office 文档，包括 Excel。处理大数据量的 Excel 文件时，建议使用 SXSSF (Streaming Usermodel API) 来写数据，因为它可以有效地处理大量数据而不会耗尽内存。
以下是一个简单的示例，展示如何使用 Apache POI 读写大数据量的 Excel 文件，并导出数据：
- 添加依赖
首先，确保你的项目中包含了 Apache POI 的依赖。如果你使用 Maven，可以在 pom.xml 中添加以下依赖：
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-ooxml</artifactId>
<version>5.0.0</version> <!-- 请检查是否有更新的版本 -->
</dependency>- 读取大数据量的 Excel 文件
public void readLargeExcelFile(String filePath) throws IOException {
InputStream is = new FileInputStream(filePath);
Workbook workbook = WorkbookFactory.create(is);
Sheet sheet = workbook.getSheetAt(0);
Iterator<Row> rowIterator = sheet.iterator();
while (rowIterator.hasNext()) {
Row row = rowIterator.next();
Iterator<Cell> cellIterator = row.cellIterator();
while (cellIterator.hasNext()) {
Cell cell = cellIterator.next();
switch (cell.getCellType()) {
case STRING:
System.out.print(cell.getStringCellValue() + "\t");
break;
case NUMERIC:
System.out.print(cell.getNumericCellValue() + "\t");
break;
// 其他数据类型可以按需处理
}
}
System.out.println("");
}
workbook.close();
is.close();
}- 写入大数据量的 Excel 文件
使用 SXSSF 来处理大数据量的写入：
public void writeLargeExcelFile(String filePath) throws IOException {
Workbook workbook = new SXSSFWorkbook(); // 使用 SXSSF 处理大数据量写入
Sheet sheet = workbook.createSheet("Sheet1");
int rowCount = 0;
for (int i = 0; i < 100000; i++) { // 假设有100,000行数据
Row row = sheet.createRow(rowCount++);
for (int j = 0; j < 10; j++) { // 假设每行有10个单元格
Cell cell = row.createCell(j);
cell.setCellValue("Data" + i + j);
}
// 控制内存使用，告诉 SXSSF 在达到一定的行数后刷新到磁盘，释放内存中的行数据
if (rowCount % 100 == 0) {
((SXSSFSheet) sheet).flushRows(100); // 保留最后100行在内存中，其他的刷新到磁盘
}
}
FileOutputStream outputStream = new FileOutputStream(filePath);
workbook.write(outputStream);
workbook.close();
outputStream.close();
}注意：当处理大数据量的 Excel 文件时，要确保调整 JVM 的内存设置，以提供足够的内存来处理数据。