转载 

高效能,大数据量存储方案SqlBulkCopy

分类:    427人阅读    IT小君  2015-03-25 17:21
前些日子,公司要求做一个数据导入程序,要求将Excel数据,
大批量的导入到数据库中,尽量少的访问数据库,高性能的对数据库进行存储。
于是在网上进行查找,发现了一个比较好的解决方案,就是采用SqlBulkCopy来处理存储数据。
SqlBulkCopy存储大批量的数据非常的高效,就像这个方法的名字一样,
可以将内存中的数据表直接的一次性的存储到数据库中,而不需要一次一次的向数据库Insert数据。
初次实验,百万级别的数据表,也只需几秒时间内就可以完全的存入数据库中,
其速度,比传统的Insert方法不止快很多倍。下面,我将用代码,介绍其用法。
/// <summary>
/// LaborReport Data Import To Database
/// </summary>
/// <param name="laborReport">laborReport data table</param>
/// <param name="laborReportDetail">laborReportDetail data table</param>
public void LaborReportInsert(DataTable laborReport, DataTable laborReportDetail)
{
using (SqlConnection conn = new SqlConnection(this.Connection))
{
if (conn.State != ConnectionState.Open)
conn.Open(); 
using (SqlBulkCopy sqlBCLaborReport = new SqlBulkCopy(conn))
{
sqlBCLaborReport.BatchSize = laborReport.Rows.Count;
sqlBCLaborReport.BulkCopyTimeout = 60;
sqlBCLaborReport.DestinationTableName = "LaborReport";
sqlBCLaborReport.WriteToServer(laborReport);
}
using (SqlBulkCopy sqlBCLaborReportDetails = new SqlBulkCopy(conn))
{
sqlBCLaborReportDetails.BatchSize = laborReportDetail.Rows.Count;
sqlBCLaborReportDetails.BulkCopyTimeout = 60;
sqlBCLaborReportDetails.DestinationTableName = "LaborReportDetails";
sqlBCLaborReportDetails.WriteToServer(laborReportDetail);
}
if (conn.State != ConnectionState.Closed)
conn.Close();
}
}
上边的示例代码,将内存中的两个DataTable 数据一次性的存入数据库中,
只要内存中的数据表格的结构跟数据库中的表格结构一样,就可以了,
如果数据库中包含自增列字段,我们可以不需要在内存表中定义,
当数据保存到数据库中的时候,自增列会自动生成数据的。

?

//数据批量导入sqlserver,创建实例 
System.Data.SqlClient.SqlBulkCopy?sqlbulk?=?new?System.Data.SqlClient.SqlBulkCopy(System.Configuration.ConfigurationManager.ConnectionStrings["connstr"].ToString());
//?目标数据库表 名 
sqlbulk.DestinationTableName?=?"tablename"; 
//?数据集字段索 引与数据库字段索引映射 
sqlbulk.ColumnMappings.Add(0,?5); 
sqlbulk.ColumnMappings.Add(1,?4); 
sqlbulk.ColumnMappings.Add(2,?7); 
sqlbulk.ColumnMappings.Add(3,?1); 
sqlbulk.ColumnMappings.Add(4,?10); 
sqlbulk.ColumnMappings.Add(5,?6); 
sqlbulk.ColumnMappings.Add(6,?2); 
//?导入 
sqlbulk.WriteToServer(sqldb); 
sqlbulk.Close(); 

jQuery右端悬浮带返回顶部特效

网页设计开发公司网站模板

小众时尚单品在线电子商务网站模板

有机水果蔬菜HTML5网站模板

响应式太阳能能源公司网站模板

响应式咖啡饮品宣传网站模板

HTML5 Canvas竖直流动线条背景动画特效

html5 svg夜空中星星流星动画场景特效

canvas炫酷鼠标移动文字粒子特效

现代时尚家具公司网站模板

html5 canvas进度条圆环图表统计动画特效

html5图标下拉搜索框自动匹配代码

css+js实现的颜色渐变数字时钟动画特效

HTML5现代家居装潢公司网站模板

响应式时尚单品在线商城网站模板

css鼠标跟随文字模糊特效

中小型创意设计服务公司网站模板

HTML5数字产品服务公司网站模板

js+css3抽奖转盘旋转点餐代码

html5 canvas彩色碎片组合球形旋转动画特效

 工具推荐 更多»