3分钟如何向MySQL数据库中插入100万条数据

一、编写测试案例向MySQL数据库中插入百万条数据。测试数据表建表脚本如下：use db_xk; drop table if exists tb_test2; create table tb_test2 ( id int primary key auto_increment， subject varchar(50) not null， description varchar(200) not null， teacher_id int(10) zerofill not null， student_id int(10) zerofill default null， state b 在IT领域，数据库操作是日常开发中的重要环节，尤其是在大数据量的情况下，如何高效地向数据库中插入数据是一项关键技能。本文以"3分钟如何向MySQL数据库中插入100万条数据"为主题，探讨如何快速地批量插入大量数据。 我们需要创建一个测试数据表。在MySQL中，创建表的SQL语句如下： ```sql use db_xk; drop table if exists tb_test2; create table tb_test2 ( id int primary key auto_increment, subject varchar(50) not null, description varchar(200) not null, teacher_id int(10) zerofill not null, student_id int(10) zerofill default null, state boolean not null default false ); ``` 这个表定义了6个字段，包括一个自增的主键`id`，两个字符串字段`subject`和`description`，两个整型字段`teacher_id`和`student_id`，以及一个默认为`false`的布尔型字段`state`。 接下来，我们通过Java程序来实现数据的批量插入。使用`PreparedStatement`可以有效地防止SQL注入，并且提高性能。下面是测试案例的源码： ```java package test; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.SQLException; import util.DBUtil; public class TestDataBase2 { public static void main(String[] args) { Connection conn = DBUtil.getConnection(); String sql = "insert into tb_test2(subject, description, teacher_id, student_id) values (?, ?, ?, ?)"; try { // 关闭自动提交，以便进行批量处理 conn.setAutoCommit(false); long start = System.currentTimeMillis(); // 执行多次批量插入，每次10万条数据 for (int i = 0; i < 10; i++) { long start2 = System.currentTimeMillis(); // 预处理语句 PreparedStatement prep = conn.prepareStatement(sql); // 插入数据 for (int j = 0; j < 100000; j++) { prep.setString(1, "test2"); prep.setString(2, "test3"); prep.setInt(3, 1234562); prep.setInt(4, 12354545); prep.addBatch(); } // 执行批处理 prep.executeBatch(); prep.clearBatch(); conn.commit(); // 输出每次批量执行的时间 long end2 = System.currentTimeMillis(); System.out.print("inner" + i + ": "); System.out.println(end2 - start2); } // 输出总时间 long end = System.currentTimeMillis(); System.out.print("total: "); System.out.println(end - start); } catch (SQLException e) { e.printStackTrace(); } finally { // 关闭连接 DBUtil.close(conn); } } } ``` 在这个Java程序中，我们先关闭了数据库连接的自动提交功能，因为批量插入可以显著减少网络传输的次数，从而提高性能。然后，我们创建一个`PreparedStatement`对象，设置占位符并填充值，最后调用`addBatch()`方法将数据添加到批处理队列中。当一批数据准备好后，通过`executeBatch()`方法执行批处理，然后清空批处理队列，再提交事务。这个过程会重复10次，每次插入10万条数据。 通过这种方式，我们可以实现高效的数据插入，特别是对于100万条数据这样的大数据量。然而，实际应用中，可能还需要考虑其他因素，如数据库索引的影响、数据分批插入的大小优化、并发插入的策略等，这些都会对插入速度产生影响。 此外，`DBUtil`通常是一个工具类，用于管理数据库连接的打开和关闭，以确保资源的有效利用和释放。在本例中，它负责获取和关闭数据库连接。 总结起来，向MySQL数据库中快速插入100万条数据，关键在于使用批处理和关闭自动提交，通过预编译的`PreparedStatement`来减少解析SQL的开销，并通过控制批处理的大小来平衡内存消耗与插入速度。在实际开发中，根据数据库性能和业务需求，还需要进行适当的调整和优化。