解答│做大数据过程中遇到的13个问题-技术方案-@大数据资讯
你好，游客
解答│做大数据过程中遇到的13个问题
来源：大数据BI&
作者：大数据BI
1、最早的数据分析可能就报表
目 前很多数据分析后的结果，展示的形式很多，有各种图形以及报表，最早的应该是简单的几条数据，然后搞个web页面，展示一下数据。早期可能数据量也不大， 随便搞个数据库，然后SQL搞一下，数据报表就出来了。但是数据量大起来怎么分析呢？数据分析完了怎么做传输呢？这么大的数据量怎么做到实时呢？分析的结 果数据如果不是很大还行，如果分析的结果数据还是很大改怎么办呢？这些问题在这篇文章中都能找到答案，下面各个击破。
2、要做数据分析，首先要有数据
这 个标题感觉有点废话，不过要做饭需要食材一样。有些数据时业务积累的，像交易订单的数据，每一笔交易都会有一笔订单，之后再对订单数据作分析。但是有些场 景下，数据没法考业务积累，需要依赖于外部，这个时候外部如果有现成的数据最好了，直接join过来，但是有时候是需要自己获取的，例如搞个爬虫爬取网页 的数据，有时候单台机器搞爬虫可能还爬不完，这个时候可能就开始考虑单机多线程爬取或者分布式多线程爬取数据，中间涉及到一个步骤，就是在线的业务数据， 需要每天晚上导入到离线的系统中，之后才可以进行分析。
3、有了数据，咋分析呢？
先 将数据量小的情况下，可能一个复杂的SQL就可以搞出来，之后搞个web服务器，页面请求的时候，执行这个SQL，然后展示数据，好了，一个最简单的数据 分析，严格意义上讲是统计的分析。这种情况下，分析的数据源小，分析的脚本就是在线执行的SQL，分析的结果不用传输，结果的展示就在页面上，整个流程一 条龙。
4、数据量大了，无法在线分析了，咋办呢？
这 个时候，数据量已经大的无法用在线执行SQL的形式进行统计分析了。这个时候顺应时代的东西产生了（当然还有其他的，我就知道这个呵呵），数据离线数据工 具hadoop出来了。这个时候，你的数据以文件的形式存在，可能各个属性是逗号分隔的，数据条数有十几个亿。这时候你可能需要构建一个hadoop集 群，然后把自己的文件导入到集群上面去，上了集群之后，文件就是HDFS的格式了，然后如果要做统计分析，需要写mapreduce程序，所谓的 mapreduce程序，就是实现map和reduce的接口，按照自己的业务逻辑写分析流程，之后把程序打成jar包上传到集群，之后开始执行。分析后 的结果还是文件的形式产生。
5、分析个数据还要写java代码是不是效率低了点
这 个确实是，mapreduce的程序，本身的可测性没有执行一个简单的单元测试来的爽，所以效率确实不高。这个时候，hive出现了，hive是一个数据 仓库分析的语言，语法类似于数据库的SQL，但是有几个地方是不同的。有了hive之后，数据分析就好之前写SQL一样了，按照逻辑编写hive SQL，然后控制台执行。可能最大的感觉是，数据库的sql很快就能有结果，但是hive的，即使很小的一个数据分析，也需要几分钟时间。构建hive， 需要在hadoop的集群上，原理很简单，就是把文件构建成表的形式（有一个数据库或者内存数据库维护表的schema信息），之后提交写好的hive sql的时候，hadoop集群里面的程序把hive脚本转换成对应的mapreduce程序执行。这个时候，做离线的数据分析简单写脚本就行了，不用再 搞java代码，然后上传执行了。
6、数据产生的结果，怎么搞到线上提供服务的数据库中呢？
这 个时候分析的结果有了，可能是一个很宽很长的excel表格，需要导入到线上的数据库中，可能你想到了，如果我的数据库是mysql，我直接执行load 命令就搞进去了，哪有那么麻烦。但是数据源可能有多了，mysql/oracle/hbase/hdfs 按照笛卡尔积的形式，这样搞要搞死程序员了。这个时候datax（已经开源）出现了，能够实现异构数据源的导入和导出，采用插件的形式设计，能够支持未来 的数据源。如果需要导数据，配置一下datax的xml文件或者在web页面上点击下就可以实现了。
7、离线分析有时间差，实时的话怎么搞呢？
要 构建实时的分析系统，其实在结果数据出来之前，架构和离线是截然不同的。数据时流动的，如果在大并发海量数据流动过程中，进行自己的业务分析呢？这里其实 说简单也简单，说复杂也复杂。目前我接触过的，方案是这样的，业务数据在写入数据库的时候，这里的数据库mysql，在数据库的机器上安装一个程序，类似 JMS的系统，用于监听binlog的变更，收到日志信息，将日志信息转换为具体的数据，然后以消息的形式发送出来。这个时候实现了解耦，这样的处理并不 影响正常的业务流程。这个时候需要有个Storm集群，storm集群干啥事情呢？就一件事情，分析数据，这个集群来接收刚才提到的JMS系统发送出来的 消息，然后按照指定的规则进行逻辑合并等计算，把计算的结果保存在数据库中，这样的话，流动的数据就可以过一遍筛子了。
8、分析的结果数据特别大，在线请求这些结果数据数据扛不住了，咋搞？
一 般的结果数据，数据量没有那么大，也就几十万的样子，这样的数据级别，对于mysql这样的数据库没有任何压力，但是这个数据量如果增加到千万或者亿级 别，同时有复杂的SQL查询，这个时候mysql肯定就扛不住了。这个时候，可能需要构建索引（例如通过lucene来对于要检索的字段添加索引），或者 用分布式的内存服务器来完成查询。总之，两套思路，一个是用文件索引的形式，说白来就是空间换时间，另外一种是用内存，就是用更快的存储来抗请求。
9、在线的数据库，除了mysql、oracle之外，还有其他选择不？
其实目前大家的思维定势，往往第一个选择就是oracle或者mysql，其实完全可以根据场景来进行选择，mysql和oracle是传统的关系型数据库，目前nosql类的数据库也很多，例如HBase就是其中一个重要的代表。如果数据离散分布比较强，且根据特定的key来查询，这个时候HBase其实是一个不错的选择。
10、空间的数据怎么分析
上 面的分析大都是统计维度的，其实最简单的描述就是求和或者平均值等，这个时候问题来了，量的空间数据如何分析呢？对于我们电子商务而言，空间数据可 能就是海量的收货地址数据了。需要做分析，第一步就是先要把经纬度添加到数据中（如果添加经纬度，这个可以搞http的请求来通过地图服务提供商来或者， 或者是根据测绘公司的基础数据来进行文本切割分析），之后空间数据是二维的，但是我们常见的代数是一维的，这个时候一个重要的算法出现了，geohash 算法，一种将经纬度数据转换为一个可比较，可排序的字符串的算法。然后，这样就可以再空间距离方面进行分析了，例如远近，例如方圆周边等数据的分析。
11、上面这些仅仅是统计，如果想搞算法或者挖掘之类的，怎么搞呢
上 述的分析，大多数是统计分析，这个时候如果想高一点高级的，例如添加一个算法，咋搞呢？其他复杂的算法我没咋接触过。将拿一个我练过手的算法来讲吧。逻辑 回归，如果样本数据量不是很大，可以采用weka来做了个回归，获得一个表达式，然后在线上系统中应用这个表达式，这种类似的表达式获取对于实时性要求不 是很高，所以公式每天跑一次就行了。如果数据量比较大，单机的weka无法满足需求了，可以将weka的jar包集成在系统中分析，当然也可以通过 hadoop中的mahout来进行离线分析，获取这个表达式。
12、我就是想离线分析数据，但是受不了hive或者hadoop的速度，咋搞
其 实搞过一段时间hadoop的人肯定有一点不爽，就是离线分析的速度太慢了，可能需要等很久，这个时候spark出现了，他和hadoop类似，不过由于 是内存中计算，所以速度快了很多，底层可以介入HDFS的文件系统，具体我没有使用过，但是公司内部一个团队目前已经用spark来进行分析了。
13、这就是搞大数据了？
有了这些工具就是搞大数据了？答案肯定不是，这个仅仅是工具罢了。真正搞大数据的可能在于思维的变化，用数据来思考，用数据来做决定。目前的无线和大数据啥关系？我觉得无线的终端是数据的来源和消费端，中间需要大数据的分析，两者密不可分啊。
相关新闻 & & &
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款查看: 2047|回复: 9
一个技术难点，大数据循环过滤问题，谁有好的方案处理
论坛徽章:0
属于号码文件导入入库的一个案例，数据量级大概在数十万左右。这中间需要进行多重过滤验证操作。
第一重，文件自身号码是否合法，是否重复. java程序处理。
第二重，文件数据号码与后台基础数据的重复比对验证，后台基础数据在百万至千万左右。目前这个逻辑是由一个plsql函数在做。(发现性能问题)
后台的基础数据，包括导入的自身号码资源库表，黑名单表，营销工单表和工单历史表等。由于涉及的表比较多，而且都是大表。所以在进行循环验证时发现了性能问题，函数老是执行不玩。
请教下各位高手有没有碰到类似的案例，求指教，不胜感激！
论坛徽章:381
论坛徽章:0
〇〇 发表于
外部表？怎么实现？
论坛徽章:381
kinfion 发表于
外部表？怎么实现？
论坛徽章:1088
这个你基本无法做，必须保证源数据的正确性。你循环处理，能处理的玩才怪
论坛徽章:1088
把你循环无数次的处理时间，分散到无数次单个入库的时候的验证处理，这样对入库的性能影响很小，但是保证了数据的正确性（完整性约束），你后面处理的时间就节省了。化整为零啊
论坛徽章:0
本帖最后由 kinfion 于
22:30 编辑
dingjun123 发表于
把你循环无数次的处理时间，分散到无数次单个入库的时候的验证处理，这样对入库的性能影响很小，但是保证了 ...
目前是非法，合法的数据都有写入库的，因为客户要在导入之后可以查询得到失败的数据。目前的整个导入处理逻辑是这样：
1).数据文件上传、读取
2).号码数据合法性第一重验证(是否合法号码，同文件是否重复)
3).号码入库(合法、非法都入)
4).数据号码第二重验证(和后台几张基础数据表做比对验证)
5).事务提交，完成写入操作。
目前，5万条csv处理，还能应付得过来。10万条就不行了。
另外想问下，随着写入表数量的增加，以后写入的速度是不是会越来越慢，该表有两个索引。
论坛徽章:381
本帖最后由 〇〇 于
13:15 编辑
把不需要和库中数据交互的文件校验用其他程序先处理（lz已经做了）
把号码不合法的保存在其他表
把合法的用sql和表中数据作校验
论坛徽章:0
〇〇 发表于
把不需要和库中数据交互的文件校验用其他程序先处理（lz已经做了）
把号码不合法的保存在其他表
把合法的 ...
是啊，我应该把合法和非法的号码分开存放，真是一语惊醒梦中人。
另外，我觉得还可以建一张号码资源库历史表，所以已被操作过的数据全部已过去。
这样应该就可以解决些问题了。
招聘 : 论坛徽章:471
无非就是空间换时间，化整为零等处理思想来加快速度，楼主已经入道了
itpub.net All Right Reserved. 北京皓辰网域网络信息技术有限公司版权所有　　　　
　北京市公安局海淀分局网监中心备案编号：　广播电视节目制作经营许可证：编号（京）字第1149号全国统一热线：400-028-
密　码:
Domain Trader
VPS SERVER
CLOUD HOST
您当前的位置：&>&&>&
微信――腾讯战略级产品，创造增速记录，10个月5000万手机用户，433天之内完成用户数从零到一亿的增长过程，千万级用户同时在线，摇一摇每天次数过亿……在技术架构上，微信是如何做到的?日前，在腾讯大讲堂在中山大学校园宣讲活动上，腾讯广研助理总经理、微信技术总监周颢在两小时的演讲中揭开了微信背后的秘密。周颢，2001年毕业于华南理工大学，计算机专业硕士。2005年加入腾讯广州研发部，历任QQ邮箱架构师，广研技术总监，T4技术专家，微信中心助理总经理。周颢把微信的成功归结于腾讯式的“三位一体”策略：即产品精准、项目敏捷、技术支撑。微信的成功是在三个方面的结合比较好，能够超出绝大多数同行或对手，使得微信走到比较前的位置。所谓产品精准，通俗的讲就是在恰当的时机做了恰当的事，推出了重量级功能，在合适的时间以最符合大家需求的方式推出去。他认为在整个微信的成功中，产品精准占了很大一部分权重。敏捷是一种态度，敏捷就是试错微信研发团队里鼓励一种试错的信仰：他们坚信，在互联网开发里，如果能够有一个团队在更短的时间内尝试了更多机会（并能改进过来），就能有（更多的）机会胜出。敏捷是一种态度，在软件开发过程中，项目管理者都会非常忌讳“变更”这个词，但是在微信的项目运作中是不可以的。因为微信必须要容忍说哪怕在发布前的十分钟，也要允许他变更。这是非常大的挑战，因为打破了所有传统项目开发的常识。所有人都说不可能做到的，但微信做到了。研发团队所做的一切都是要给产品决策者有最大的自由度，而这个决策正是微信能够胜出的关键。海量系统上的敏捷，无异于悬崖边的跳舞敏捷有很多困境，如果做一个单机版程序，是可以做到很敏捷的，但是腾讯正在运作的是一个海量系统，有千万级用户同时在线，在一个单独的功能上每天有百亿级的访问，同时还要保证99.95%的可用性。在海量系统上应对项目开发会有很严谨的规范，都说要尽可能少的变化，因为90%-95%的错误都是在变更中产生的，如果系统一直不变更会获得非常高的稳定度，但是微信就是要在悬崖边跳舞。微信的研发团队要做一些事情，让敏捷开发变得更简单。如何做到这一切？周颢认为，首先，必须建立起一种狂热的技术信念，就是一定是可以做到的。然后，需要用一些稳固的技术（理念）来支撑，例如大系统小做、让一切可扩展、必须有基础组件、轻松上线（灰度、灰度、再灰度，精细监控，迅速响应）……等等来支撑。四大法器：大系统小做、让一切可扩展、要有基础组件、轻松上线大系统小做当设计庞大系统的时候，应该尽量分割成更小的颗粒，使得项目之间的影响是最小的。一切可扩展：在高稳定度、高性能的系统中间，为了稳定性能把它设计成不变化的系统，但为了支持敏捷需要让一切的东西都要变得可以扩展。必须建立基础组件：要解决复杂问题的时候，需要将已有的经验固化下来，固化下来的东西会成为系统中的一部分。轻松上线：当做了变化并把它从开发环境中部署到现有的运营环境中去，在这个过程中，“灰度”这个词非常关键，就是在黑和白之间的选择，必须要变成一种小规模尝试，再逐步扩展到海量过程中的一个问题。大系统小做――仅仅把模块变得更为清晰，这在海量系统设计开发中是不够的，还需要在物理环境上进行分离部署，出现问题的时候可以快速发现，并且在最快的情况下解决掉。大系统小做，混搭模式将不同的应用逻辑物理分割独立出来，用户注册登录、LBS逻辑、摇一摇逻辑、漂流瓶逻辑、消息逻辑独立开来。把关键的逻辑混搭在一起，当所有的逻辑部署在同一个服务器上，确实也会带来很大敏捷上的好处，因为不需要额外的考虑部署和监控的问题。在整个微信的逻辑中，可能现在已经有上百种不同的逻辑，因为会在逻辑的分割上拆分成8-10种做分离部署。一切可扩展――网络协议可扩展、数据存储可扩展扩展的关键点有两块。一个是网络协议需要扩展，当要升级一个新功能的时候，会有一些比较大的困难，所以所有协议设计都比较向前兼容，但是向前兼容还是不够的，因为网络协议设计本身有非常多的功能也会有比较大的字段，相关的代码可能会有数千行，这一块不能通过手写方式完成。可以通过XML描述，再通过工具自动生成所有的代码，这是微信获得快速开发的一个重要的点。另外一块就是在数据存储方面是必须可扩展的。在2005年绝大多数海量系统的设计都是采用固定字段的存储，但是在现代系统中会意识到这个问题，会采用KV或者TLV的方式，微信也做了不同的设计。把复杂逻辑都固化下来，成为基础软件在微信后台会有几种不同的基础组件，大致包括：Svrkit――Client/Server自动代码生成框架:10分钟搭建内部服务器LogicServer――逻辑容器：随时添加新逻辑OssAgent――监控/统计框架：所见即所得的监控报表存储组件――屏蔽容灾/扩容等复杂问题灰度、灰度、再灰度在变更后的部署方式上，微信在一些规则会限定不能一次把所有的逻辑变更上去，每一次变更一小点观察到每一个环节没有问题的时候，才能布局到全网上去。微信后台每一天可以支撑超过20个后台变更，在业界来说，通常做到5个已经是比较快了，但是微信可以做到快4倍。腾讯内部的上线系统而所谓灰度发布，是指在黑与白之间，能够平滑过渡的一种发布方式。AB test就是一种灰度发布方式，让一部用户继续用A，一部分用户开始用B，如果用户对B没有什么反对意见，那么逐步扩大范围，把所有用户都迁移到B上面来。灰度发布可以保证整体系统的稳定，在初始灰度的时候就可以发现、调整问题，以保证其影响度。（在腾讯，灰度发布是最常采用的发布方式之一）孙子兵法：古之所谓善战者，胜于易胜者也常识上，解决一个复杂问题的时候，会用高明的技巧解决复杂的问题，这个不是微信团队的目标，他们追求的要做到让所有问题很自然和简单的方式解决掉。在周颢看来，微信架构的技术复杂点在四个要点：协议、容灾、轻重、监控。微信架构协议：手机终端跟后台服务器之间的交互协议，这个协议的设计是整个系统的骨架，在这一点做好设计可以使得系统的复杂度大大降低。容灾：当系统出现了若干服务器或若干支架（宕机的时候），仍然需要让系统尽可能的提供正常的服务。轻重：如何在系统架构中分布功能，在哪一个点实现哪一个功能，代表系统中间的功能配置。监控：为系统提供一个智能仪表盘。在协议设计上，移动互联网和常规互联网有很大的区别。首先有CMWAP和CMNET的不同，在中国现在有相当多的手机用户使用WMWAP连接，还有就是在线和离线的概念，当QQ下线的时候叫离线，当你登录的时候叫在线。但是在移动互联网这两个概念比较模糊。从微信的设计中，不管在线还是离线系统表现都应该是一致的。还有一个是连接不稳定的问题，由于手机信号强弱的变化，当时信号很好，5秒钟走到信号不好的地区，连接就必须断掉。这个中间带来不稳定的因素为协议设计带来较大困难。此外就是资费敏感的问题，因为移动互联网是按照流量计费的，这个计费会使得在协议设计中如何最小化传输的问题。最后就是高延迟的问题。对此，业界标准的解决方案：Messaging And Presence Protocol：1)XMPP，2)SIP/SIMPLE。它的优点是简单，大量开源实现。而缺点同样明显：1)流量大：状态初始化，2)消息不可靠。微信在系统中做了特殊设计，叫SYNC协议，是参考Activesyec来实现的。特点首先是基于状态同步的协议，假定说收发消息本身是状态同步的过程，假定终端和服务器状态已经被迟了，在服务器端收到最新的消息，当客户端、终端向服务器对接的时候，收取消息的过程实际上可以简单的归纳为状态同步的过程，收消息以及收取你好友状态更新都是相同的。在这样的模式之下，我们会也许会把交互的模式统一化，只需要推送一个消息到达的通知就可以了，终端收到这个通知就来做消息的同步。在这样的简化模式之下，安卓和塞班都可以得到统一。这样的系统本身的实现是更为复杂的，但是获得很多额外的好处。让剩下系统实现的部分更加简单，简化了交互模式，状态同步可以通过状态同步的差值获得最小的数据变更，通过增量的传输得到最小的数据传输量。通过这样的协议设计，微信可以确保消息是稳定到达的，而且是按序到达。引用一句俗话：比它炫的没它简单，比它简单的没它快，没谁比他更快，哪怕在GPRS下，微信也能把进度条轻易推到底。追求完美设计的团队不能胜任海量服务在容灾之前面向最坏的思考，如果系统真的挂了，需要做一些事情，首先是防止雪崩，避免蝴蝶效应。如果关注春节订火车票就知道了，用户的请求量会因为系统服务不了而不断的重试，意味着发生雪崩的时候，系统可能会承载原先3-10倍的流量，使得所有的事情更加恶化。所以微信有很多“放雪”功能的设计。第二个词是柔性可用，在任何的系统中不要追求完美设计，追求完美设计的是团队是不能胜任海量服务的。如果在一个系统出现问题的时候，这个系统就挂了，那么这是一个不好的设计，最好的做法是提供0-1中间的选择。举一个例子，当一个用户向另外一个用户发消息的时候，可能会通过一个垃圾信息过滤的检测，如果垃圾信息过滤这个模块突然挂掉了，这个消息难道就不能达到了吗？在这样的情况下，要忽略掉这个错误，使得消息正常达到对方。要精确定位出哪一个环节是最为重要的，把不是重要的错误尽可能的忽略掉。当不能做到完美的时候，尽可能为用户提供服务。另外一个重要方面叫做“保护点前置”，最前的一个点就是终端，在手机终端上蕴埋更多的保护点，这样会为用户系统赢得更大的处理空间。如果终端具备这样的能力，会获得更大的反应空间。周颢介绍了在微信上具体容灾设计的做法。在所有的容灾中存储层的容灾是最难的，一个系统的设计分为三层：接入层、逻辑层、存储层。接入层和逻辑层的容灾都有比较成熟的方案。逻辑层的容灾相对来说比较简单，尽量不要有状态的设计，比如说当你做上一个请求的时候，会保持一些状态，要使得下一个请求发到下一个服务器。如果任何一个请求之间互相不关联的话，这个就是无状态的设计，只要做到这一点逻辑层的容灾可以随意的切换。在回到存储层本身的容灾设计上，相对来说困难一些，但是微信研发团队采用了一些技巧，叫分而治之，分离业务场景，寻求简单的设计，并不会寻求大而同一的解决方案，因为这样会使得系统的复杂度大幅度上升，而微信会尽可能把产品拆细，寻求简化的设计。首先是主备容灾，这是最常见的方案。在有一些业务场景中是可以容忍最终一致性的，比如账号系统的设计，每天写入账号系统的请求是非常少的，但是访问的请求非常多，这个差异可能会达到数万倍的规模，在这样的场景下，微信会在账号系统中采用简化的方案，也可以获得比较大的稳定度。SET模型+双写第二种容灾的模式叫双写，两台Master的机器，当一台机故障的时候，另外一台机还是可以接收到写请求，当两台机交错启动的时候，会得到数据的丢失。但是有一些场景是可以容忍轻度数据丢失的，比如说会有一个存储专门记录用户终端的类型，比如说安卓还是塞班以及他们使用终端的微信版本是什么，这样的数据是可以容忍轻度数据丢失的，因为偶尔有一些丢失的话，下一次访问会把这些数据带上来，会尽快的修复所有的数据。双写也是非常简单的模式。微信的研发团队做了一个叫Simple Quorum的机制，在微信的后台中，同步协议有一个很重要的基石叫序列发生器，这样的一个序列发生器需要有极高的稳定度。首先可以看到序列号有一个特点永远是递增的，用递增方式往前推进的时候，最大的序列号就是最新的系列号。有一个毕业才加入广研的毕业生想到一个绝佳的方案，按SET分布，从2G减到 200K。前轻后重，功能点后移周颢还谈到了轻重的概念。这个概念的提出主要是从终端本身的一些困境所带来的。首先在终端上需要表现最多的一个产品的逻辑，逻辑非常复杂，变更的成本也非常高，当需要修复的时候必须发布一个新版本，这个新版必须由自己下载才能完成，下载的成本非常高。在这样的前提下，如果手机终端产生了任何变化的时候，如果这个变化有非常大的问题就会有极大的困境，所以需要在每一个发布之前做一些充分的数据，确保不会发生致命问题。如果一旦出现致命问题难以修复，需要把关键的点从终端移到后台实现，把功能点后移，来充分发挥后台快速变更的能力。接入优化：从GSLB到IP重定向在接入层的优化，速度很重要的因素，是不是能够就近接入一个最优的节点，比如说移动用户最好接入移动的节点，海外的用户可能需要寻找更佳的路由，有的时候可能无法自动做到这一点，一点是在终端上做测速，微信会通过在后台IP逆向的能力，通过后台指挥微信终端联网的能力，寻找最优的接入点。上图就是每分钟收到同一项指令曲线的报表。如何解决“偷流量”的问题――当国内类微信类产品发布的时候出现一个大的问题就是“偷流量”，当用户在某一些逻辑下进行一个死循环，不断访问某一些数据，这样的死循环是非常可怕的，如果在用户不知觉的情况之下，可能会在一个小时之内偷到数10兆甚至数百兆的流量。有非常多业内的同行都需要花大量的精力解决这个问题，微信研发团队用了非常强大的方式解决它。通过在后台建立起严厉的监控系统，对每一个用户的行为做一个监控，当发现异常的时候，后台会给终端发出指令，使得微信终端在一段时间无法联网，但是可以保证用户流量不会白白的使用掉。功能适配的例子――第一期微信版本发布的时候，当时没有群聊的功能，第二版发布的时候做了这个功能。当时有两个选择，对于早期版本的用户，因为不支持群聊，就无法享用到这个功能，但是微信希望提供更好的选择，想让早期不支持群聊的版本，也可以被拉到一个群里面收消息、发消息，通过后台功能的适配也能做到这个事情。分而治之，把监控嵌入基础框架对于一个海量系统来说，一个精密的仪表盘非常重要。监控是非常痛苦的，对于这样一个系统来说，每小时会产生数百G的监控日志。微信希望在1分钟之内监控的数据就能够显示在报表上，因为只有这样的精准和实时度才能够赢得处理故障的时间。微信会做关联统计，通过摇一摇加了好友，他们活跃度如何，过了一段时间他们的活跃度变化情况又是如何。这种需求是需要通过大量日志的关联统计来获得的。研发团队也花了一段时间来理解这个问题，发现了中间一个重要的经验叫做“鱼和熊掌不能兼得”。为了让监控数值更敏感，需要把监控细化再细化，上面数据表示每一栏子系统的数据，下面这个是按微信版本号来划分的，这里的数据项是非常多。微信还需要采集一些异常的点，如果有异常的话会发布紧急的版本，尽可能快的替换它。对收发消息延时做的监控，比如说0―1秒端到端的速度，会对不同的区段做一些统计，当某一个环节出现异常的时候，通常会在中间的延时上体现出来。有一个很重要的点叫自动报警，现在有数千项的数据，不可能每一项都靠人工去看的，必须要跟自动报警相关联，微信有一些智能的算法，是不是在正常的范围内，跟历史的数值进行对比，如果有异常的话，会通过短信、邮件还有微信本身来发出报警信息。把监控嵌入基础框架微信会把监控嵌入到基础框架里面去，因为并不是每一个人都会意识到在需要的地方嵌入一个监控点，所以在基础框架本身内置很重要的监控点，比如说这个表上的栏目，非常多的栏目大概会有数百项的栏目，都不需要程序员自己去写，当用基础组件搭建一个系统的时候，就可以直接观测系统数据。在谈到微信未来的技术挑战时，周颢首先希望能够让微信成为可用性99.99%的系统;设计出面向现在10倍容量的系统以及完全的容灾。
版权申明：本站文章部分自网络，如有侵权，请联系028-5 ，我们收到后立即删除，谢谢！
特别注意：本站所有转载文章言论不代表本站观点！本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。
目前国内各大主机服务商都推出了自己的云服务器产品，但带宽
IBM、EMC、NetApp、惠普和甲骨文等公司都在寻求向云过渡的途
Copyright & &&版权所有
电话总机：028- (20线)
400电话：400-}