《大数据量下，58同城mysql实践》WOT（World Of Tech）2015，互联网运维与开发者大会将在北京举行，会上58同城将分享《大数据量下，58同城mysql实战》的主题，干货分享抢先看。零、分享提纲1）基本概念2）常见问题及解决思路3）拆库实战4）拆库后业务实战5）总结一、基本概念大数据量下，搞mysql，以下概念需要先达成一致1)单库，不多说了，就是一个库2）分片（sharding），水平拆分，用于解决扩展性问题3）复制（replication）与分组（group），用于解决可用性问题4）分片+分组，这是大数据量下，mysql架构的实际情况二、大数据量下，mysql常见问题及解决思路1）常见问题如何保证可用性？各色各异的读写比，怎么办？如何做无缝倒库，加字段，扩容？数据量大，怎么解决？2）解决思路2.1）可用性解决思路：复制读库可用性从库复制多个，例如：1主2从从库挂了读主库，例如：1主1从写库可用性双主模式“双主”当“主从”用2.2）读写比解决思路-针对特性做设计读多些少场景：提升读性能，3种常见方案：a）新建索引提高读性能，什么小技巧？b）读写分离，增加从库扩展读性能c）增加缓存来扩展读性能a）b）c）方案存在什么问题？如何解决这些问题？读写相近场景：不要使用缓存，考虑水平切分写多读少场景：不要使用缓存，考虑水平切分2.3）无缝倒库[扩容，增加字段，数据迁移]追日志方案a）记录写日志b）倒库c）倒库完毕d）追日志e）追日志完毕+数据校验f）切库双写方案a）服务双写b）倒库c）倒库完毕+数据校验d）切库2.4）数据量大解决思路：拆库三、58同城数据库拆库实战四类场景覆盖99%拆库业务a）“单key”场景，用户库如何拆分： user(uid, XXOO)b）“1对多”场景，帖子库如何拆分： tiezi(tid, uid, XXOO)c）“多对多”场景，好友库如何拆分： friend(uid, friend_uid, XXOO)d）“多key”场景，订单库如何拆分：order(oid, buyer_id, seller_id, XXOO)1）用户库如何拆分用户库，10亿数据量user(uid, uname, passwd, age, sex, create_time);业务需求如下a）1%登录请求 =& where uname=XXX and passwd=XXXb）99%查询请求 =& where uid=XXX结论：“单key”场景使用“单key”拆库2）帖子库如何拆分帖子库，15亿数据量tiezi(tid, uid, title, content, time);业务需求如下a）查询帖子详情（90%请求）SELECT * FROM tiezi WHERE tid=$tidb）查询用户所有发帖（10%请求）SELECT * FROM tiezi WHERE uid=$uid结论：“1对多”场景使用“1”分库，例如帖子库1个uid对应多个tid，则使用uid分库，tid生成时加入分库标记3）好友库如何拆分好友库，1亿数据量friend(uid, friend_uid, nick, memo, XXOO);业务需求如下a）查询我的好友（50%请求） =& 用于界面展示SELECT friend_uid FROM friend WHERE uid=$my_uidb）查询加我为好友的用户（50%请求） =& 用户反向通知SELECT uid FROM friend WHERE friend_uid=$my_uid结论：“多对多”场景，使用数据冗余方案，多份数据使用多种分库手段4）订单库如何拆分订单库，10亿数据量order(oid, buyer_id, seller_id, order_info, XXOO);业务需求如下a）查询订单信息（80%请求）SELECT * FROM order WHERE oid=$oidb）查询我买的东东（19%请求）SELECT * FROM order WHERE buyer_id=$my_uidc）查询我卖出的东东（1%请求）SELECT * FROM order WHERE seller_id=$my_uid结论：“多key”场景一般有两种方案a）方案一，使用2和3综合的方案b）方案二，1%的请求采用多库查询四、分库后业务实战分库后出现的问题：单库时mysql的SQL功能不再支持了1）海量数据下，mysql的SQL怎么玩不会这么玩a）各种联合查询b）子查询c）触发器d）用户自定义函数e）“事务”都用的很少原因：对数据库性能影响极大2）分库后，IN查询怎么玩用户库如何进行uid的IN查询user(uid, uname, passwd, age, sex, photo, create_time, ...);Partition key：uid查询需求：IN查询：WHERE uid IN(1,2,3,4,5,6)解决方案：服务做MR方案一：直接分发方案二：拼装成不同SQL，定位不同的库3）分库后，非Partition key的查询怎么玩方案一：业务方不关心数据来自哪个库，可以只定位一个库例如：有头像的用户查询方案二：结果集只有一条数据，业务层做分发，只有一条记录返回就返回例如：用户登录时，使用userName和passwd的查询4）分库后，夸库分页怎么玩？问题的提出与抽象：ORDER BY xxx OFFSET xxx LIMIT xxxa）按时间排序b）每页100条记录c）取第100页的记录单机方案ORDER BY time OFFSET 10000 LIMIT 100分库后的难题：如何确认全局偏移量分库后传统解决方案，查询改写+内存排序a）ORDER BY time OFFSET 0 LIMIT b）对20200条记录进行排序c）返回第1条记录优化方案一：增加辅助id，以减少查询量a）技术上，引入特殊id，作为查询条件（或者带入上一页的排序条件）b）业务上，尽量禁止跨页查询单库情况a）第一页，直接查b）得到第一页的max(id)=123（一般是最后一条记录）c）第二页，带上id&123查询：WHERE id&123 LIMIT 100多库情况a）将WHERE id&xxx LIMIT 100分发b）将300条结果排序c）返回前100条优点：避免了全局排序，只对小量记录进行排序优化方案二：模糊查询a）业务上：禁止查询XX页之后的数据b）业务上：允许模糊返回 =& 第100页数据的精确性真这么重要么？优化方案三：终极方案，查询改写与两段查询方案一和方案二在业务上都有所折衷，前者不允许跨页查询，后者数据精度有损失，解决夸库分页问题的终极方案是，将order by + offset + limit进行查询改写，分两段查询。由于wot2015大会时间优先，这个方案待到dtcc2015数据库大会上，58同城的架构师再与大家细讲五、总结《概念》单库、分片、复制、分组《常见问题及解决思路》1）可用性，解决思路是冗余（复制）2）读写比 2.1）读多些少：用从库，缓存，索引来提高读性能 2.2）业务层控制强制读主来解决从库不一致问题 2.3）双淘汰来解决缓存不一致问题 2.4）读写相近，写多读少：不要使用缓存，该怎么整怎么整3）无缝导库 3.1）写日志追数据 3.2）双写4）数据量大，解决思路是分片（拆库）《四大类拆库思路》1）用户库，“单key”场景使用“单key”拆库2）帖子库，“1对多”场景使用“1”分库，例如帖子库1个uid对应多个tid，则使用uid分库，tid生成时加入分库标记3）好友库，“多对多”场景，使用数据冗余方案，多份数据使用多种分库手段4）订单库，“多key”场景一般有两种方案 4.1）方案一，使用2和3综合的方案 4.2）方案二，1%的请求采用多库查询《拆库后业务实战》1）不这么玩：联合查询、子查询、触发器、用户自定义函数、夸库事务2）IN查询怎么玩 2.1）分发MR
2.2）拼装成不同SQL语句3）非partition key查询怎么玩 3.1）定位一个库 3.2）分发MR4）夸库分页怎么玩 4.1）修改sql语句，服务内排序 4.2）引入特殊id，减少返回数量 4.3）业务优化，禁止跨页查询，允许模糊查询
4.4）终极方案，dtcc2015数据库大会揭晓【完】回复【mongo】，阅读《一分钟了解mongoDB》回复【leveldb】，阅读《Google-levelDB简介》回复【join】，阅读《两幅图秒懂sql中的join》回复【mysql】，阅读《mysql数据库中间件》回复【赶集】，阅读《赶集mysql军规》回复【同城】，阅读《58同城mysql实战》（火）小游戏：回大于10的整数，返回随机好文（试试看哟，猜猜怎么实现的？）我是做数据库的，各位兄弟帮忙转发一下哈。架构师之路(gh_10a6b96351a9)　
　文章为作者独立观点，不代表微头条立场
的最新文章
58同城推荐系统架构设计与实现。“架构师之路”提供了一个很有意思的“回复大于10的整数，获取随机好文”的小游戏，猜猜怎么实现的？6月11日，北京，全球敏捷运维峰会。互联网的兄弟姐妹们们，回湖北创业。如何快速实现高并发短文检索，龙哥指点一二，受益终身。一线互联网架构思考。MPD58沈剑专访：聊聊架构，谈谈管理。mysql，并行复制，降低主从同步延时，思路与启示。系统性能优化的目标是什么？分别如何做代码优化，工具优化，系统优化？业界通常采用“一主多从，读写分离”的DB架构来提升数据库的读性能，此时如何解决主从数据一致性问题呢？“架构师之路”提供了一个很有意思的“回复大于10的整数，获取随机好文”的小游戏，猜猜怎么实现的？数据库主从延时为何会导致缓存数据不一致，又该如何解决呢？什么情况下数据库和缓存中的数据会不一致，如何保证一致，“串行化”是个优化思路。为什么需要冗余表，如何实现冗余表，冗余表写入时序，冗余表怎么保证一致性。自增ID法，单点服务法，UUID法，毫秒法，类snowflake法。《58怎么玩数据库架构》，来自upyun架构与运维大会速记。两个广告位，三家广告主竞价，广告平台究竟应该制定竞价策略呢？花1分钟搞懂这个问题。从推荐系统的技术角度分析，如何能在自己的朋友圈刷出宝马广告。如何从0开始做垂直O2O个性化推荐？互联网离不开SQL，SQL离不开join，30秒，两幅图，秒懂各种join。在分布式系统里，如何保证事务在提交时保持数据的一致性呢？2PC是一种解决方向。mongodb在设计之初就是为大数据量处理而生呢？技多不压身，10分钟，perl入门。文章微长，适合收藏；示例颇多，适合转发。不管是研发RD，测试QA，还是产品PM，不懂点awk，都不好意思说自己是混互联网的。技多不压身，花1分钟，学这些awk就够用。一张“神图”看懂单机/集群/热备/磁盘阵列（RAID），不懂你打我。如何用CAS解决“在高并发的分布式环境下，对于数据的查询与修改引发不一致”的问题。“博弈论-重复囚徒困境实验”的结论是：好人，将会成为最终的赢家。数据库软件架构都设计些什么？可用性？读性能？一致性？扩展性？58同城流量从小到大的过程中，架构是如何演进的？遇到了哪些问题？如何解决这些问题？无线时代，流量敏感。微信在登录后，要向服务器同步非常多的数据，很费流量。技术上如何进行流量优化，这是本文要讨论的问题。每台服务器都有自己的本地时间，如何来测量两台服务器本地时间的差值呢？无线时代，APP流量敏感，上报日志如何进行流量优化，这是本文将要讨论的问题。回复“招聘”，立刻获取58到家入职机会。2014年9月，面对汹涌来袭的到家服务浪潮，58到家创立，由58同城无线时代，网络稳定性差，应用流量敏感，APP与server之间每次HTTP请求都需要DNS解析，有没有优化方法呢？今天晚上（10月12号）21:00，58到家正式向SEC递交文件，宣布与阿里巴巴，平安，KKR完成了A轮融资58到家完成互联网历史上最大A轮融资，融资金额3亿美金，由阿里巴巴、平安创投、KKR联合投资。于此同时，58到家还在招聘Java工程师。im协议设计，应用层、安全层、传输层分别应该如何选型？很高兴再次和大家聊即时通讯技术。赶集mysql军规（转）大数据量下，58同城mysql实战，干货抢先看。看看58同城怎么做数据库架构设计。很多同学对http长轮询技术有误解，总以为webim使用http长轮询来投递消息会有延时，本文将阐述webim如何使用http长轮询来保证消息的“绝对”实时性。如何保证消息不丢失，不重复？这是即时通讯系统中的核心技术之一。微博消息推还是拉？im个人消息，群消息，系统消息推还是拉？linux下追查线上问题常用命令: ps、top、netstat、lsof...看看58同城怎么做数据库架构设计。mysql官方的数据库中间件mysql-proxy简单介绍、参数说明、扩展编程、常见问题。强烈建议阅读！！！近期微信朋友圈首批广告上线：宝马中国、vivo 智能手机、可口可乐。本文将从技术的角度分析，什么样的人会出什么样的广告，并给出一些TIPS以增加大伙出“宝马广告”，打上高富帅标签的概率。大数据量下，58同城mysql实战，干货抢先看。Julia Grace，Tindie公司CTO，讲述电子商务网站创业前期产品应该最注重的四点。优化无极限，php巧用tcp长连接！好文可转！gh_10a6b96351a9通往架构师的路，悠远而漫长，一路上，我们同行。热门文章最新文章gh_10a6b96351a9通往架构师的路，悠远而漫长，一路上，我们同行。查看: 1090|回复: 101
分享阅读权限10在线时间0 小时主题精华0好友记录帖子日志相册UID715839积分5666经验1017 点金币46489 枚元宝0 个注册时间最后登录
六品, 积分 5666, 距离下一级还需 4334 积分
UID715839积分5666经验1017 点金币46489 枚注册时间最后登录
同上，有玩的请说下玩了多少关了呢
分享阅读权限10在线时间0 小时主题精华0好友记录帖子日志相册UID715839积分5666经验1017 点金币46489 枚元宝0 个注册时间最后登录
六品, 积分 5666, 距离下一级还需 4334 积分
UID715839积分5666经验1017 点金币46489 枚注册时间最后登录
分享阅读权限10在线时间0 小时QQ主题精华0好友记录帖子日志相册UID800798积分1434经验954 点金币4801 枚元宝0 个注册时间最后登录
七品, 积分 1434, 距离下一级还需 3566 积分
UID800798积分1434经验954 点金币4801 枚注册时间最后登录
分享阅读权限10在线时间0 小时QQ主题精华0好友记录帖子日志相册UID798852积分1836经验1735 点金币1007 枚元宝0 个注册时间最后登录
七品, 积分 1836, 距离下一级还需 3164 积分
UID798852积分1836经验1735 点金币1007 枚注册时间最后登录
不会玩的路过
分享阅读权限10在线时间0 小时主题精华9好友记录帖子日志相册UID221951积分15764经验4594 点金币111701 枚元宝0 个注册时间最后登录
五品, 积分 15764, 距离下一级还需 34236 积分
UID221951积分15764经验4594 点金币111701 枚注册时间最后登录
196关 飘过
分享阅读权限10在线时间0 小时主题精华0好友记录帖子日志相册UID715839积分5666经验1017 点金币46489 枚元宝0 个注册时间最后登录
六品, 积分 5666, 距离下一级还需 4334 积分
UID715839积分5666经验1017 点金币46489 枚注册时间最后登录
皇家恬恬520 发表于
下个玩玩，很好玩的
分享阅读权限10在线时间0 小时主题精华0好友记录帖子日志相册UID715839积分5666经验1017 点金币46489 枚元宝0 个注册时间最后登录
六品, 积分 5666, 距离下一级还需 4334 积分
UID715839积分5666经验1017 点金币46489 枚注册时间最后登录
毒来毒往 发表于
不会玩的路过
下一个玩玩
分享阅读权限10在线时间0 小时主题精华0好友记录帖子日志相册UID715839积分5666经验1017 点金币46489 枚元宝0 个注册时间最后登录
六品, 积分 5666, 距离下一级还需 4334 积分
UID715839积分5666经验1017 点金币46489 枚注册时间最后登录
寳娜 发表于
<font color="#6关 飘过
分享阅读权限10在线时间0 小时QQ主题精华0好友记录帖子日志相册UID415507积分1563经验167 点金币13959 枚元宝0 个注册时间最后登录
七品, 积分 1563, 距离下一级还需 3437 积分
UID415507积分1563经验167 点金币13959 枚注册时间最后登录
分享阅读权限10在线时间0 小时主题精华0好友记录帖子日志相册UID715839积分5666经验1017 点金币46489 枚元宝0 个注册时间最后登录
六品, 积分 5666, 距离下一级还需 4334 积分
UID715839积分5666经验1017 点金币46489 枚注册时间最后登录
lihuaimin2008 发表于
分享阅读权限10在线时间0 小时QQ主题精华0好友记录帖子日志相册UID415507积分1563经验167 点金币13959 枚元宝0 个注册时间最后登录
七品, 积分 1563, 距离下一级还需 3437 积分
UID415507积分1563经验167 点金币13959 枚注册时间最后登录
宝贝116 发表于
全名叫：部落冲突，一个策略类城建集合塔防的游戏，手机PAD 都能玩，我也是年前被同学推荐了玩得
分享阅读权限10在线时间0 小时QQ主题精华0好友记录帖子日志相册UID743433积分3872经验2363 点金币15091 枚元宝0 个注册时间最后登录
七品, 积分 3872, 距离下一级还需 1128 积分
UID743433积分3872经验2363 点金币15091 枚注册时间最后登录
分享阅读权限10在线时间0 小时QQ主题精华0好友记录帖子日志相册UID793859积分1377经验1229 点金币1476 枚元宝0 个注册时间最后登录
七品, 积分 1377, 距离下一级还需 3623 积分
UID793859积分1377经验1229 点金币1476 枚注册时间最后登录
玩了又被我删了，玩不过去了！
分享阅读权限10在线时间0 小时主题精华0好友记录帖子日志相册UID715839积分5666经验1017 点金币46489 枚元宝0 个注册时间最后登录
六品, 积分 5666, 距离下一级还需 4334 积分
UID715839积分5666经验1017 点金币46489 枚注册时间最后登录
lihuaimin2008 发表于
全名叫：部落冲突，一个策略类城建集合塔防的游戏，手机PAD 都能玩，我也是年前被同学推荐了玩得
分享阅读权限10在线时间0 小时主题精华0好友记录帖子日志相册UID715839积分5666经验1017 点金币46489 枚元宝0 个注册时间最后登录
六品, 积分 5666, 距离下一级还需 4334 积分
UID715839积分5666经验1017 点金币46489 枚注册时间最后登录
<font color="#61jiazhuang 发表于
玩了又被我删了，玩不过去了！
玩不过去继续啊，我有的都玩一星期呢
分享阅读权限10在线时间0 小时QQ主题精华0好友记录帖子日志相册UID538423积分355经验206 点金币1487 枚元宝0 个注册时间最后登录
九品, 积分 355, 距离下一级还需 145 积分
UID538423积分355经验206 点金币1487 枚注册时间最后登录
删了，玩了会入迷
分享阅读权限0在线时间0 小时QQ主题精华0好友记录帖子日志相册UID657838积分1310经验1173 点金币1367 枚元宝0 个注册时间最后登录
头像被屏蔽
UID657838积分1310经验1173 点金币1367 枚注册时间最后登录
分享阅读权限10在线时间0 小时QQ主题精华0好友记录帖子日志相册UID748816积分1160经验363 点金币7965 枚元宝0 个注册时间最后登录
七品, 积分 1160, 距离下一级还需 3840 积分
UID748816积分1160经验363 点金币7965 枚注册时间最后登录
分享阅读权限10在线时间0 小时QQ主题精华0好友记录帖子日志相册UID631308积分3257经验2978 点金币2794 枚元宝0 个注册时间最后登录
七品, 积分 3257, 距离下一级还需 1743 积分
UID631308积分3257经验2978 点金币2794 枚注册时间最后登录
不玩游戏的
分享阅读权限10在线时间0 小时主题精华0好友记录帖子日志相册UID715839积分5666经验1017 点金币46489 枚元宝0 个注册时间最后登录
六品, 积分 5666, 距离下一级还需 4334 积分
UID715839积分5666经验1017 点金币46489 枚注册时间最后登录
Jennysky 发表于
删了，玩了会入迷
我就入迷了
优秀版主奖章
工作认真，受网友好评，对版块有引导能力的模范版主。
活动组织奖章
发起或帮助社区的大中型活动组织，受到好评的版友。
专项优秀奖章
除论坛外，如群组、空间、消费等有优秀表现的网友。您的位置：&-&-> -& 开心网助手 1.0.10Beta5
同类周下载排行
软件授权：试用软件
软件大小：935KB
人气指数：0
软件语言：简体中文
软件评级：
运行环境：Win7/XP//Vista
更新时间：
出 品 人：&&
软件合集：
开心网助手V1.0.10Beta5
1、增加收获、偷果实、耕地、浇水、捉虫、买种、种地。
2、增加朋友花园帮忙。
3、增加代理服务器功能。
4、增加自动识别菜老伯功能。
5、增加朋友买卖功能。
升级说明：解压缩后覆盖原来的exe即可。
【主要功能】
一、争车位：停车、贴条、加油、启动赛车
二、换住房：换住房、打工
三、花园：耕地、浇水、买种子、耕种、收获、出售、偷果实、朋友家帮忙
四、朋友买卖：朋友买卖、安抚奴隶
五、咬人：咬人、保护、同意朋友休息
六、添加好友：发送添加好友邀请
【软件说明】
纯绿色软件，不用进行安装就可以使用，软件所有程序放在同一个文件夹中，如果是压缩过文件，请先解
压缩后再使用(不要在压缩文件中运行)。
【运行环境】
Windows，不需要安装其它服务。
【软件使用说明】
一、运行退出：
运行：鼠标双击运行“kaixin001.exe”。
退出：点击菜单栏“设置/退出程序”或者右键点击系统托盘图标，选择“退出程序”。
隐藏：点击窗口右上角关闭按钮，程序隐藏。
显示：点击系统托盘图标，程序显示。
二、注册：点击菜单栏“注册/试用版注册”，点击“试用注册按钮”，等待注册成功，成功后重新启动
“kaixin001.exe”程序。（如果购买过，可以进行正式版注册）
三、添加帐户：点击菜单栏“设置/帐户管理”，将帐户添加进列表中，第一个帐户为主帐户。
四、保存设置信息：界面上“自动执行”按钮旁边的功能列表选择后，如果希望保存设置，点击菜单栏“
设置/保存停车住房设置”。
选中“循环周期”自动执行会每隔“指定时间”自动执行一次。
双击“用户列表”直接进入开心网的指定帐户，不用再使用浏览器（支持多帐户同时显示）。
菜单“设置/自动运行设置”，按照个人喜欢自行设置。
信息提示功能。
白名单中的朋友ID：用浏览器打开网页，选择某个想买卖的朋友，点击进朋友页面，看地址栏：例如：“
/home/?uid=”则，添加“”即可。
【功能说明】
一、手动：（点击一次只执行一次）
停车：自动进行停车，优先抢占高价位的车位。
贴条：将自己家车位上的车全部贴条。
查看：查看自己家车位信息，和自己所有车的停车信息。
添加好友：添加朋友的好友，发送请求报告。
二、自动：（停车）
停车：自动进行停车，优先抢占高价位的车位。
贴条：将自己家车位上的车全部贴条。
主帐户保护：子帐户贴条时不贴主帐户的车。
加油：给自己所以好友拉力赛加油。
启动赛车：启动自己的拉力赛车。
朋友买卖全部功能。
三、住房：(自动)
换房位：自动换住房，赚取随机入住费。
主帐户优先：子帐户优先选择住在主帐户家里。
打工：自动选择最高级别的工作。
花园全部功能。
咬人全部功能。
热门软件推荐
热门安卓应用推荐最后一个河马是不是根本就抽不到啊_开心消消乐吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0可签7级以上的吧50个
本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：65,997贴子：
最后一个河马是不是根本就抽不到啊
吸血伯爵倒数第二个抽到...
本来已经放弃没想到竟然...
楼主我从八月份抽到现在...
转微博镰池喵姬 河马X吹...
有几成胜算？
你们只知道捞圣诞欧根，...
公司来了一个新同事，估...
1.28内购破解版小黄鸡官网兑换码需要的加微信pojie707
不要相信这人是骗子
楼上这人是骗子
贴吧热议榜
使用签名档&&
保存至快速回贴}