您的位置 » 首页 » 编程开发 » 数据库优化:mysql数据库单机数十亿数据查询设计

数据库优化:mysql数据库单机数十亿数据查询设计

发表于3年前 | 作者: seay | 分类: 编程开发 | 孵化于:2014年07月01日 | 文章热度:10,095 次 全屏阅读

显示不全请点击全屏阅读

    很久没写文章,是不是想着写点什么东西,分享下我的数据库设计思路,主要是针对单机数十亿及以上数据查询优化技巧。


如果只是简单的查询,没有频繁的写入操作,对查询速度不要求在毫秒级别,就不需要什么大型的数据库软件设计复杂的集群关系,也不需要分布式水平分割等太重的优化。

只需要用mysql在本机笔记本搭建一个普通的环境就行。

   那么首先是针对mysql做一些普通常见的优化,比如分表分区、建索引、表字段设计以及mysql的配置优化,比如缓冲区大小等等,这类配置我找了一个文章,详细的可以看 http://www.cnblogs.com/Bozh/archive/2013/01/22/2871545.html
。其实mysql水平分表也是数据水平分割的做法。只需要在入库时针对不同的数据库入到不同的表即可,对于比较大的单个库,比如上两亿的单库,这时候就可以把它进行分表放到两个或者三个表,我的做法是单表不超过一亿。


除了这些优化,我优化的核心设计思想是在建立索引和查询代码上面。


很多人在设计社工库的时候,都是把所有要查询的字段都建立索引,而对于数据库来说,查询的数据库数据量越小,那么查询速度越快,另外索引也比较占空间,所以我们在索引上面做做动作,可以节省大量硬盘空间和优化查询速度。


我的做法是只查可能有我想要的数据的表,肯定没有我想要的数据表直接不查询,我不需要查询的字段就不需要建索引,那这样就可以实现一来我查询的量小了,而来少给很多字段建立索引。


举个简单的例子,比如你现有的数据库info中两个表:


1A表和B表。AB表字段一样。AB表都有明文password字段不为空。
2.A表username字段不为空,B表username字段为空。

3.B表email字段不为空,A表email字段为空。


那在这种情况下,就可以针对这两个表做如下的设计:
1.A表和B表password字段都建立索引。
2.A表username字段建立索引,B表username字段不建立索引且默认为空。

3.B表email字段建立索引,A表email字段不建立索引且默认为空。

OK,那么表设计就完成了。

那么我们就可以利用这种表设计减少我们查询的量来优化查询速度。

对于有索引的字段,在mysql数据库information_schema的statistics表里面保存了所有表的索引信息,那么我们就可以利用这个表来过滤掉我们要查询的字段没有建立索引的表。

比如我要查询info库里面邮箱为root@cnseay.com的信息。那么这个查询中我会丢掉A表,因为A表email字段为空,肯定没有我要查询的root@cnseay.com信息。

那么如何过滤掉A表。一条SQL语句即可:


SELECT TABLE_NAME FROM information_schema.statistics WHERE INDEX_NAME!=’PRIMARY’ and table_schema = ‘info’ and COLUMN_NAME=’email’ GROUP BY TABLE_NAME;


利用这条语句,就可以输出info库email字段存在索引的表。然后利用脚本动态拼接union查询语句查询即可。

我的环境是USB3.0 2TB移动硬盘,笔记本win7 i7-4700,8G内存。20亿数据查询速度在1~3秒。

Tags:

mysql优化,

如果您喜欢我的博客,欢迎点击图片定订阅到邮箱填写您的邮件地址,订阅我们的精彩内容: 也可以点击链接【订阅到鲜果】

如果我的想法或工具帮助到了你,也可微信扫下方二维码打赏本人一杯咖啡


来自 Seay互联网安全博客
本文地址:http://www.cnseay.com/3954/
文章版权说明请看置顶文章,尊重作者,转载请以链接形式标明原文地址

马上分享给你的朋友吧~

已经有6个筒子的人留下了脚印...

  • HACKXX 说:
    1楼
    2014 年 7 月 1 日 下午 5:10 回复

    数据内容分享。

  • Ha.Cker.In 说:
    2楼
    2014 年 7 月 3 日 上午 4:35 回复

    求2t的数据库 😀

    • 【管理员】seay 说:
      2014 年 7 月 3 日 下午 12:54 回复

      :smile: 换啊

  • 非凡站长博客 说:
    3楼
    2014 年 7 月 29 日 上午 7:40 回复

    看标题就很牛 2T数据怎么构建的

  • 【管理员】seay 说:
    2014 年 7 月 21 日 上午 6:10 回复

    打包共享.

发表评论

你的大名(必填)

你的邮箱(必填)

评论内容(必填)