C#.NET中如何批量插入大量数据到数据库中

在C#.NET中批量插入大量数据到数据库是一个常见的任务，特别是在处理诸如从Excel文件导入数据等场景时。这里，我们将探讨如何使用C#.NET高效地完成这个任务，并提供一个简单的示例来说明整个过程。 我们需要引入必要的库，如`System.Data.SqlClient`和`System.Data.OleDb`，以便于与SQL Server和Excel文件进行交互。在C#.NET项目中，确保已添加了这些引用。 在前端（ASP.NET页面），我们可以使用`GridView`控件来显示和编辑数据。例如，创建一个`GridView`来展示Excel文件中的数据，用户可以在这里预览并进行编辑。`FileUpload`控件用于选择Excel文件，两个按钮分别用于导入数据到`GridView`以及将`GridView`中的数据批量插入到数据库。 ```csharp // 前端代码片段 <asp:GridView ID="dgBom" runat="server" AutoGenerateColumns="false"> <!-- 定义列，例如学号和学生姓名 --> </asp:GridView> <asp:FileUpload ID="FileUpload1" runat="server" /> <asp:Button ID="btn2" runat="server" OnClick="btn2_Click" Text="导入数据" /> <asp:Button ID="btninsert" runat="server" OnClick="btninsert_Click" Text="插入到数据库中" /> ``` 在后端，我们处理`btn2_Click`事件来读取Excel文件并填充`GridView`，`btninsert_Click`事件则负责将`GridView`中的数据批量插入数据库。 ```csharp // 后台代码片段 protected void btn2_Click(object sender, EventArgs e) { string filepath = FileUpload1.PostedFile.FileName; ReadExcel(filepath, dgBom); } public void ReadExcel(string sExcelFile, GridView dgBom) { // 使用OleDb连接读取Excel文件 // ... dgBom.DataSource = ds; // 将数据填充到GridView dgBom.DataBind(); // 绑定数据 } protected void btninsert_Click(object sender, EventArgs e) { // 从GridView中获取数据并批量插入数据库 // ... } ``` 批量插入数据库时，有几种方法可以提高效率： 1. **使用SQL事务**：将多个插入操作封装在一个事务中，可以减少与数据库的交互次数，提高性能。在C#.NET中，可以使用`SqlConnection`的`BeginTransaction`、`Commit`和`Rollback`方法来管理事务。 2. **批量插入（Bulk Insert）**：SQL Server 提供了一个`SqlBulkCopy`类，用于快速地将大量数据从一个数据源（如DataTable或DataReader）复制到SQL Server表中。这比逐行插入要快得多。 ```csharp using (SqlConnection conn = new SqlConnection(connectionString)) { conn.Open(); using (SqlTransaction tran = conn.BeginTransaction()) { try { using (SqlBulkCopy bulkCopy = new SqlBulkCopy(conn, SqlBulkCopyOptions.KeepIdentity, tran)) { bulkCopy.DestinationTableName = "YourTableName"; bulkCopy.ColumnMappings.Add("Column1", "Column1"); // 添加其他列映射 bulkCopy.WriteToServer(dgBom.DataSource as DataTable); } tran.Commit(); } catch { tran.Rollback(); // 处理错误 } } } ``` 3. **分批次插入**：如果数据量非常大，可以考虑分批插入，每次处理一部分数据，避免一次性加载所有数据导致内存压力过大。 4. **优化数据库设计**：确保目标表有良好的索引和分区策略，可以进一步提高插入速度。 5. **减少数据库往返**：尽量减少不必要的数据库查询，例如，通过一次性获取所有需要的数据库对象，而不是在循环中多次查询。 通过这些方法，可以有效地提高C#.NET中批量插入大量数据到数据库的性能。同时，确保在处理大量数据时注意异常处理和数据验证，以防止数据丢失或错误。