来自 澳门威尼斯人注册网站 2020-03-13 22:05 的文章
当前位置: 澳门威尼斯人平台 > 澳门威尼斯人注册网站 > 正文

sql 存储过程分页代码 支持亿万庞大数据量

高效分页方法代码(sql百万级数据量分页代码)

复制代码 代码如下: CREATE PROCEDURE page @tblName varchar(255), -- 表名 @strGetFields varchar(1000) = '*', -- 需要返回的列 @fldName varchar(255)='id', -- 排序的字段名 @PageSize int = 10, -- 页尺寸 @PageIndex int = 1, -- 页码 @doCount bit = 0, -- 返回记录总数, 非 0 值则返回 @OrderType bit = 0, -- 设置排序类型, 非 0 值则降序 0:asc 1:desc @strWhere varchar(1500) = '', -- 查询条件 (注意: 不要加 where) @ID nvarchar(50)='id' --主表的列。。最好是主键 AS declare @strSQL varchar(5000) -- 主语句 declare @strTmp varchar(110) -- 临时变量 declare @strOrder varchar(400) -- 排序类 if @doCount != 0 begin if @strWhere !='' set @strSQL = 'select count(*) as Total from ' + @tblName+ ' where '+@strWhere else set @strSQL = 'select count(*) as Total from ' + @tblName + '' end --以上代码的意思是如果@doCount传递过来的不是0,就执行总数统计。以下的所有代码都是@doCount为0的情况 else begin if @OrderType != 0 begin set @strTmp = '(select min' set @strOrder = ' order by ' + @fldName +' desc' --如果@OrderType不是0,就执行降序,这句很重要! end else begin set @strTmp = '(select max' set @strOrder = ' order by ' + @fldName +' asc' end if @PageIndex = 1 begin if @strWhere != '' set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from ' + @tblName + ' where ' + @strWhere + ' ' + @strOrder else set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from '+ @tblName + ' '+ @strOrder --如果是第一页就执行以上代码,这样会加快执行速度 end else begin --以下代码赋予了@strSQL以真正执行的SQL代码 set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from ' + @tblName + ' where ' + @fldName + ' ' + @strTmp + '( '+ @ID + ' ) from (select top ' + str((@PageIndex-1)*@PageSize) + ' '+ @fldName + ' from ' + @tblName + @strOrder + ') as tblTmp)'+ @strOrder if @strWhere != '' set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from ' + @tblName + ' where ' + @fldName + ' ' + @strTmp + '(' + @ID + ') from (select top '

在项目中,我们经常遇到或用到分页,那么在大数据量(百万级以上)下,哪种分页算法效率最优呢?我们不妨用事实说话。

@querystr nvarchar(300),--表名、视图名、查询语句@pagesize int=10,--每页的大小(行数)@pagecurrent int=1,--要显示的页@fdshow nvarchar (100)='',--要显示的字段列表,如果查询结果有标识字段,需要指

  • str((@PageIndex-1)*@PageSize) + ' ' + @fldName + ' from ' + @tblName
  • ' where ' + @strWhere + ' ' + @strOrder + ') as tblTmp) and ' + @strWhere + ' ' + @strOrder end end exec (@strSQL)

 

定此值,且不包含标识字段@fdorder nvarchar (100)='',--排序字段列表@wherestr nvarchar (200)='', --内容是' id=3 and model_no like '%24%'

测试环境

and '@rscount int=0 output asset @fdshow=' '+@fdshow+' 'set @fdorder= ' '+@fdorder+' 'set @wherestr= ' '+@wherestr+' '

硬件:CPU 酷睿双核T5750  内存:2G

declare @fdname nvarchar(250)--表中的主键或表、临时表中的标识列名,@id1 varchar(20),@id2 varchar(20)--开始和结束的记录号,@obj_id int --对象id,@temp nvarchar(300) --临时语句,@strparam nvarchar(100) --临时参数

软件:Windows server 2003    +   Sql server 2005

declare @strfd nvarchar(2000)--复合主键列表,@strjoin nvarchar(4000)--连接字段,@strwhere nvarchar(2000)--查询条件--检查输入参数set @querystr=ltrim(rtrim(@querystr))select @obj_id=object_id(@querystr),@fdshow=case isnull(@fdshow,'') when '' then ' *' else ' '+@fdshow end,@fdorder=case isnull(@fdorder,'') when '' then '' else ' order by

 

'+@fdorder end,@querystr=case when @obj_id is not null then ' '+@querystr else '

OK,我们首先创建一数据库:data_Test,并在此数据库中创建一表:tb_TestTable

('+@querystr+') a' end--输出总记录数set @temp= 'select @rscount=count(*) from ' + @querystr+' '+@wherestrset @strparam = n'@rscount int out'execute sp_executesql @temp,@strparam,@rscount out--如果显示第一页,可以直接用top来完成if @pagecurrent=1beginselect @id1=cast(@pagesize as varchar(20))exec('select top '+@id1+@fdshow+' from '+@querystr+@wherestr+@fdorder)returnend--如果是表,则检查表中是否有标识更或主键if @obj_id is not null and objectproperty(@obj_id,'istable')=1beginselect @id1=cast(@pagesize as varchar(20)),@id2=cast((@pagecurrent-1)*@pagesize as varchar(20))select @fdname=name from syscolumns where id=@obj_id and status=0x80if @@rowcount=0--如果表中无标识列,则检查表中是否有主键beginif not exists(select 1 from sysobjects where parent_obj=@obj_id and

 

xtype='pk')goto lbusetemp--如果表中无主键,则用临时表处理select @fdname=name from syscolumns where id=@obj_id and colid in(select colid from sysindexkeys where @obj_id=id and indid in(select indid from sysindexes where @obj_id=id and name in(select name from sysobjects where xtype='pk' and parent_obj=@obj_id)))

图片 1

if @@rowcount1--检查表中的主键是否为复合主键beginselect @strfd='',@strjoin='',@strwhere=''select @strfd=@strfd+',['+name+']',@strjoin=@strjoin+' and a.['+name+']=b.['+name+']',@strwhere=@strwhere+' and b.['+name+'] is null'from syscolumns where id=@obj_id and colid in(select colid from sysindexkeys where @obj_id=id and indid in(select indid from sysindexes where @obj_id=id and name in(select name from sysobjects where xtype='pk' and parent_obj=@obj_id)))select @strfd=substring(@strfd,2,2000),@strjoin=substring(@strjoin,5,4000),@strwhere=substring(@strwhere,5,4000)goto lbusepkendendendelsegoto lbusetemp/*--使用标识列或主键为单一字段的处理方法--*/lbuseidentity: if len(@wherestr)10beginexec('select top '+@id1+@fdshow+' from '+@querystr+@wherestr+' and '+@fdname+' not in(select top '+@id2+' '+@fdname+' from '+@querystr+@wherestr+@fdorder+')'+@fdorder)returnendelsebeginexec('select top '+@id1+@fdshow+' from '+@querystr+' where '+@fdname+' not in(select top '+@id2+' '+@fdname+' from '+@querystr+@fdorder+')'+@fdorder)returnend/*--表中有复合主键的处理方法--*/lbusepk:exec('select '+@fdshow+' from(select top '+@id1+' a.* from(select top 100 percent * from '+@querystr+@fdorder+') aleft join (select top '+@id2+' '+@strfd+' from '+@querystr+@fdorder+') b on '+@strjoin+'where '+@strwhere+') a')return/*--用临时表处理的方法--*/lbusetemp:select @fdname='[id_'+cast(newid() as varchar(40))+']',@id1=cast(@pagesize*(@pagecurrent-1) as varchar(20)),@id2=cast(@pagesize*@pagecurrent-1 as varchar(20))exec('select '+@fdname+'=identity(int,0,1),'+@fdshow+'into #tb from'+@querystr+@fdorder+'select '+@fdshow+' from #tb where '+@fdname+' between '+@id1+' and '+@id2)

 1图片 2create database data_Test  --创建数据库data_Test 
 2图片 3GO 
 3图片 4use data_Test 
 4图片 5GO 
 5图片 6create table tb_TestTable   --创建表 
 6图片 7
 7图片 8    id int identity(1,1) primary key, 
 8图片 9    userName nvarchar(20) not null, 
 9图片 10    userPWD nvarchar(20) not null, 
10图片 11    userEmail nvarchar(40) null 
11图片 12
12图片 13GO

复制代码

图片 14

 

然后我们在数据表中插入2000000条数据:

 

图片 15

 1图片 16--插入数据 
 2图片 17set identity_insert tb_TestTable on 
 3图片 18declare @count int 
 4图片 19set @count=1 
 5图片 20while @count<=2000000 
 6图片 21begin  
 7图片 22    insert into tb_TestTable(id,userName,userPWD,userEmail) values(@count,'admin','admin888','lli0077@yahoo.com.cn') 
 8图片 23    set @count=@count+1 
 9图片 24end 
10图片 25set identity_insert tb_TestTable off

复制代码

图片 26

 

我首先写了五个常用存储过程:

1,利用select top 和select not in进行分页,具体代码如下:

 

图片 27

 1图片 28create procedure proc_paged_with_notin  --利用select top and select not in 
 2图片 29
 3图片 30    @pageIndex int,  --页索引 
 4图片 31    @pageSize int    --每页记录数 
 5图片 32
 6图片 33as 
 7图片 34begin 
 8图片 35    set nocount on; 
 9图片 36    declare @timediff datetime --耗时 
10图片 37    declare @sql nvarchar(500
11图片 38    select @timediff=Getdate() 
12图片 39    set @sql='select top '+str(@pageSize)+' * from tb_TestTable where(ID not in(select top '+str(@pageSize*@pageIndex)+' id from tb_TestTable order by ID ASC)) order by ID' 
13图片 40    execute(@sql)  --因select top后不支技直接接参数,所以写成了字符串@sql 
14图片 41    select datediff(ms,@timediff,GetDate()) as 耗时 
15图片 42    set nocount off; 
16图片 43end

复制代码

图片 44

本文由澳门威尼斯人平台发布于澳门威尼斯人注册网站,转载请注明出处:sql 存储过程分页代码 支持亿万庞大数据量

关键词: