当前位置： >>
大数据供应商别再瞧不起数据仓库系统了
摘要：我听说过太多的大数据供应商借助数据仓库来抬高他们自己的新技术，有的已经让人感到反感生厌了。对他们来说，数据仓库系统是单一的，造价昂贵且不灵活的，而他们的新技术是快速，灵活且企业负担得起的。”购买我们的产品，我们将把你从数据仓库的地狱中解救出来。”他们鼓吹道。就如同他们的新技术或解决方案就是灵丹妙药一样。
　　我承认很多数据仓库存在着去自身的某些缺陷。但设计一个数据仓库是不容易的，并且对其部署的实现更是难上加难。某些相关的批评是对的：数据仓库需要很长的时间来建立，花费了很多钱，而且很难改变。但是，这并不意味着我们应该抛弃他们。
　　从其本质上讲，数据仓库并不是一种技术或工具。其主要是一个业务流程，以电子化的形式将企业整合起来(即，通过数据)，因此它可以作为一个单一的实体，而不是一堆松散的耦合。如果没有数据仓库，企业高管会盲目运行，依靠不准确甚至没有数据为支撑做出企业的关键性决策。
　　虽然企业需要相关的技术来实现数据仓库的部署，但技术无法协调对企业业务的感知，并提供一个很好的整体企业观。只有企业的商务人士能做到这一点。事实上，让企业的商务人士同意核心业务的实体定义甚至比构建技术基础设施更具挑战性且耗时。与其责备在技术方面糟糕的设计或数据仓库的表现欠佳，我们应该将矛头指向那些不具备足够的领导力、缺乏远见和耐心为企业创造一个共同数据词汇的企业高管们。
　　数据仓库系统提供整洁的数据信息
　　从技术上讲，数据仓库是一家企业大多数主要应用程序和系统的清洁，集成和统一数据的储存库。企业可以利用各种技术和工具来实现数据仓库，从关系数据库到主数据管理中心及Hadoop。某些技术比其他技术更好，但没有一款技术足够好到可以完全替代所有其他技术。但那不是重点。数据仓库只是一种抽象的，从逻辑上代表了企业管理人员可以借助用来帮助制定企业决策的清洁数据集。
　　不幸的是，在大数据领域，许多服务供应商似乎主张完全放弃数据仓库。也许，他们真正的意思是，他们不再需要使用传统的关系型数据库和商业智能工具来存储和查询业务数据。这很好，而且也相当受欢迎。新技术能够带来相关的好处。但是，这并不排除企业对于清洁，集成和认证数据的需要。
　　服务商们需要具体表明他们计划如何向企业客户提供相关的意见和标准报告。不幸的是，大多数大数据服务商均忽略或模糊了这一需求。
　　分析系统的三大支柱
　　问题的一部分在于数据仓库的角色在大数据领域向彻底衰亡之前。数据仓库只是几个成熟的分析库的其中之一，其中还包括探索/发现和事件驱动的报警环境(见图1)。
　　图1：描绘了一个成熟分析系统的概念架构
　　简单地说，数据仓库的作用是帮助企业的业务人员监控现有的流程和活动，并确定关键趋势和异常情况;其作为一个环境分析报告，为相关问题提供了预定义的答案。虽然数据仓库支持某种程度的分析，但其并不能解答新的和意想不到的问题。这是在探索和环境发现过程中的工作&&今天大数据移动的标志。它可以让用户将新的和现有的数据集整合起来，运行复杂的查询和机器学习算法来帮助发现新的见解。同时，该警报的环境能够处理来自大批量交易或实时处理系统的用户警报或当数据触发预定义的规则时下游系统的数据源。
　　图1中缺少的是技术。正如我上面提到的，企业可以使用各种技术和工具实现数据仓库系统(和其他环境)的部署
。而企业的选择一定程度上取决于其遗留系统，预算和风险承受能力。
　　但无论决定使用哪种技术或工具，确保对于这一切需要怎样结合在一起才能设计出一个良好的分析系统有充分的了解。
　　最后，不要让大数据的倡导者诋毁数据仓库。其在任何分析系统中都发挥着至关重要的作用。数据仓库能够为企业提供数据的企业视图，驱动标准的报告和分析。谁能够离了它而照常生活呢?
　　责任编辑：余芯
扫一扫，订阅更多数据中心资讯
本文地址： 网友评论:
条 阅读次数：
版权声明：凡本站原创文章，未经授权，禁止转载，否则追究法律责任。
·····
随着云计算技术的不断发展，各类
或许大家对Vicor公司有点陌生，
据悉，华为集团有三大BG分别是企
据悉，惠普和富士康组建了一家合
2013年底，中国建成的大型数据中
一直以来，IT技术的变革和创新直后使用快捷导航没有帐号？
查看: 5044|回复: 15
数据仓库和大数据有什么关系
中级会员, 积分 343, 距离下一级还需 157 积分
论坛徽章:8
最近两年，大数据是一个很火的名词。最近我也在思考，作为一个数仓工作者，如何取迎接大数据的时代呢？&&
数据仓库最终的成果物通常是报表。
目前主流的大数据产品有 负责存储，spark，计算能力超强。
我目前的数仓数据源都是业务系统数据库，没有涉及过非结构化的数据。有没有哪位牛人能指点一下，怎么来应用这些大数据工具来为将来数仓的工作服务呢？
高级会员, 积分 520, 距离下一级还需 480 积分
论坛徽章:12
我觉得是HADOOP这些大数据框架，为数据仓库在新时代下，更好的支持大数据，分布式，提供了一个良好的平台。
金牌会员, 积分 2889, 距离下一级还需 111 积分
论坛徽章:14
传统的数据仓库是统一存储、单一数据库、批量数据ETL、离线计算、AD-Hoc查询、OLAP分析；大数据的到来，除了4V特点（价值密度低、多结构化的数据、时效性要求高、巨大的数据量）外，大数据的表现形式越来越多，发挥的作用也会越来越重要，已经成为反馈经济的基础。
这就要求必须有分布式存储、并行计算、NewSQL等新技术来支撑、完善数据仓库的理论与实践。
于此同时。大数据时代下数据仓库的建设，已经不再是个简单的IT项目，而应该成为企业在“互联网+”的大环境下，如何利用企业拥有的数据资产，扬长避短、开拓进取的必备手段。
高级会员, 积分 737, 距离下一级还需 263 积分
论坛徽章:20
不同层面不同解释，技术上和业务上我觉得解释方式很多
金牌会员, 积分 1418, 距离下一级还需 1582 积分
论坛徽章:28
高级会员, 积分 821, 距离下一级还需 179 积分
论坛徽章:16
随着数据量的增加，对于结构化、半结构化和非结构化数据，采用分布式计算架构是发展必然趋势，传统数据仓库技术主要针对结构式数据进行存储和应用，需要针对分布式计算架构进行优化和扩展
金牌会员, 积分 1710, 距离下一级还需 1290 积分
论坛徽章:12
问出了我的心声呀
论坛徽章:15
数据仓库里放不了的东西，就放到大数据里面去呗。。。
金牌会员, 积分 2659, 距离下一级还需 341 积分
论坛徽章:17
也想知道。。。。。。。。。。。。。。。。。。。。。。
金牌会员, 积分 2474, 距离下一级还需 526 积分
论坛徽章:17
大数据并不是仅仅只处理非结构化的，也可以处理结构化从大数据的风水图，来看到底大数据是怎么回事
来源：财经综合报道
作者：虎嗅网dongfeiwww
    
　  技术型的高科技创业公司都是喜欢闪闪发光的新东西，而"大数据"跟3年前火热程度相比反而有些凄惨。虽然Hadoop创建于2006年，在"大数据"的概念兴起到达白热化是在2011年至2014年期间，当时在媒体和行业面前，大数据就是"黑金石油"。但是现在有了某种高原感。 2015年数据世界中时尚年轻人喜欢转移到AI的相关概念，他们口味变成：机器智能，深度学习等。
　  除了不可避免的炒作周期，我们第四次年度“大数据风水图”（见下图），回顾过去一年发生的事情，思考这个行业的未来机会。
　　2016年大数据还是“回事”么？让我们深度挖掘。
　　企业级技术 = 艰苦的工作
　　其实大数据有趣的是它不是直接可以炒作的东西。
　　能够获得广泛兴趣的产品和服务往往是那些人们可以触摸和感受到的，比如：移动应用，社交网络，可穿戴设备，虚拟现实等。
　　但大数据，从根本上说是“管道”。当然，大数据支持许多消费者或企业用户体验，但其核心是企业的技术：数据库，分析等：而这后面几乎没人能看到东西运行。
　　而且如果大家真正工作过的都知道，在企业中改造新技术并不大可能在一夜之间发生。
　　早年的大数据是在大型互联网公司中（特别是谷歌，雅虎，Facebook，Twitter，LinkedIn等），它们重度使用和推动大数据技术。这些公司突然面临着前所未有的数据量，没有以前的基础设施，并能招到一些最好的工程师，所以他们基本上是从零开始搭建他们所需要的技术。开源的风气迅速蔓延，大量的新技术与更广阔的世界共享。随着时间推移，其中一些工程师离开了大型网络公司，开始自己的大数据初创公司。其他的“数字原生”的公司，其中包括许多独角兽，开始面临跟大型互联网公司同样需求，无论有没有基础设施，它们都是这些大数据技术的早期采用者。而早期的成功导致更多的创业和风险投资。
　　现在一晃几年了，我们现在是有大得多而棘手的机会：数据技术通过更广泛从中型企业到非常大的跨国公司。不同的是“数字原生”的公司，不必从头开始做。他们也有很多损失：在绝大多数的公司，现有的技术基础设施“够用”。这些组织也明白，宜早不宜迟需要进化，但他们不会一夜之间淘汰并更换关键任务的系统。任何发展都需要过程，预算，项目管理，导航，部门部署，全面的安全审计等。大型企业会小心谨慎地让年轻的创业公司处理他们的基础设施的关键部分。而且，一些（大多数？）企业家压根不想把他们的数据迁移到云中，至少不是公有云。
　　从另一个关键点大家就明白了：大数据的成功是不是实现一小片技术（如Hadoop的或其他任何东西），而是需要放在一起的技术，人员，流程的流水线。你需要采集数据，存储数据，清理数据，查询数据，分析数据，可视化数据。这将由产品来完成，有些由人力来完成。一切都需要无缝集成。归根结底，对于这一切工作，整个公司，从高级管理人员开始，需要致力于建立一个数据驱动的文化，大数据不是小事，而是全局的事。
　　换句话说：这是大量艰苦的工作。
　　部署阶段
　　以上解释了为什么几年后，虽然很多高调的创业公司上线也拿到引人注目的风险投资，但只是到达大数据部署和早期成熟阶段。
　　更有远见的大公司（称他们为“尝鲜者”在传统的技术采用周期），在2011 - 2013年开始早期实验大数据技术，推出Hadoop系统，或尝试单点解决方案。他们招聘了形形色色的人，可能工作头衔以前不存在（如“数据科学家”或“首席数据官”）。他们通过各种努力，包括在一个中央储存库或“数据湖”倾倒所有的数据，有时希望魔术随之而来（通常没有）。他们逐步建立内部竞争力，与不同厂商尝试，部署到线上，讨论在企业范围内实施推广。在许多情况下，他们不知道下一个重要的拐点在哪里，经过几年建设大数据基础架构，从他们公司业务用户的角度来看，也没有那么多东西去显示它。但很多吃力不讨好的工作已经完成，而部署在核心架构之上的应用程序又要开始做了。
　　下一组的大公司（称他们为“早期大众”在传统的技术采用周期）一直呆在场边，还在迷惑的望着这整个大数据这玩意。直到最近，他们希望大供应商（例如IBM）提供一个一站式的解决方案，但它们知道不会很快出现。他们看大数据全局图很恐怖，就真的想知道是否要跟那些经常发音相同，也就凑齐解决方案的创业公司一起做。他们试图弄清楚他们是否应该按顺序并逐步工作，首先构建基础设施，然后再分析应用层，或在同一时间做所有的，还是等到更容易做的东西出现。
　　生态系统正在走向成熟
　　同时，创业公司/供应商方面，大数据公司整体第一波（那些成立于2009年至2013）现在已经融资多轮，扩大他们的规模，积累了早期部署的成功与失败教训，也提供更成熟，久经考验的产品。现在有少数是上市公司（包括HortonWorks和New Relic 它们的IPO在2014年12月），而其他（Cloudera，MongoDB的，等等）都融了数亿美元。
　　VC投资仍然充满活力，2016年前几个星期看到一些巨额融资的晚期大数据初创公司：DataDog（9400万），BloomReach（5600万），Qubole（3000万）， PlaceIQ（ 2500万）这些大数据初创公司在2015年收到的$ 66.4亿创业投资，占高科技投资总额的11％。
　　随创业活动和资金的持续涌入，有些不错的资本退出，日益活跃的高科技巨头（亚马逊，谷歌和IBM），公司数量不断增加，很显然这里密密麻麻很多公司，从基本走势方面，动态的（创新，推出新的产品和公司）已逐渐从左向右移动，从基础设施层（开发人员/工程师）到分析层（数据科学家和分析师的世界）到应用层（商业用户和消费者），其中“大数据的本地应用程序”已经迅速崛起- 这是我们预计的格局。
　　大数据基础架构：创新仍然有很多
　　正是因为谷歌十年前的MapReduce和BigTable的论文，Doug Cutting， Mike Cafarella开发 创建Hadoop的，所以大数据的基础架构层成熟了，也解决了一些关键问题。
　　而基础设施领域的不断创新蓬勃发展还是通过大量的开源活动。
　　2015年毫无疑问是Apache Spark最火的一年，这是一个开源框架，利用内存中做处理。这开始得到了不少争论，从我们发布了前一版本以来，Spark被各个对手采纳，从IBM到Cloudera都给它相当的支持。 Spark的意义在于它有效地解决了一些使用Hadoop很慢的关键问题：它的速度要快得多（基准测试表明：Spark比Hadoop的MapReduce的快10到100倍），更容易编写，并非常适用于机器学习。
　　其他令人兴奋的框架的不断涌现，并获得新的动力，如Flink，Ignite，Samza，Kudu等。一些思想领袖认为Mesos的出现（一个框架以“对你的数据中心编程就像是单一的资源池”），不需要完全的Hadoop。即使是在数据库的世界，这似乎已经看到了更多的新兴的玩家让市场持续，大量令人兴奋的事情正在发生，从图形数据库的成熟（Neo4j），此次推出的专业数据库（时间序列数据库InfluxDB），CockroachDB，（受到谷歌Spanner启发出现，号称提供二者最好的SQL和NoSQL），数据仓库演变（Snowflake）。
　　大数据分析：现在的AI
　　在过去几个月的大趋势上，大数据分析已经越来越注重人工智能（各种形式和接口），去帮助分析海量数据，得出预测的见解。
　　最近AI的复活就好比大数据生的一个孩子。深度学习（获取了最多的人工智能关注的领域）背后的算法大部分在几十年前，但直到他们可以应用于代价便宜而速度够快的大量数据来充分发挥其潜力（Yann LeCun, Facebook深度学习研究员主管）。 AI和大数据之间的关系是如此密切，一些业内专家现在认为，AI已经遗憾地“爱上了大数据”（Geometric Intelligence）。
　　反过来，AI现在正在帮助大数据实现承诺。AI /机器学习的分析重点变成大数据进化逻辑的下一步：现在我有这些数据，我该怎么从中提取哪些洞察？当然，这其中的数据科学家们 - 从一开始他们的作用就是实现机器学习和做出有意义的数据模型。但渐渐地机器智能正在通过获得数据去协助数据科学家。新兴产品可以提取数学公式（Context Relevant）或自动构建和建议数据的科学模式，有可能产生最好的结果（DataRobot）。新的AI公司提供自动完成复杂的实体的标识（MetaMind，Clarifai，Dextro），或者提供强大预测分析（HyperScience）。
　　由于无监督学习的产品传播和提升，我们有趣的想知道AI与数据科学家的关系如何演变 - 朋友还是敌人？ AI是肯定不会在短期内很快取代数据科学家，而是希望看到数据科学家通常执行的简单任务日益自动化，最后生产率大幅提高。
　　通过一切手段，AI /机器学习不是大数据分析的唯一趋势。令人兴奋的趋势是大数据BI平台的成熟及其日益增强的实时能力（SiSense，Arcadia）
　　大数据应用：一个真正的加速度
　　由于一些核心基础架构难题都已解决，大数据的应用层迅速建立。
　　在企业内部，各种工具已经出现，以帮助企业用户操作核心功能。例如，大数据通过大量的内部和外部的数据，实时更新数据，可以帮助销售和市场营销弄清楚哪些客户最有可能购买。客户服务应用可以帮助个性化服务; HR应用程序可帮助找出如何吸引和留住最优秀的员工;等
　　专业大数据应用已经在几乎任何垂直领域都很出色，从医疗保健（特别是在基因组学和药物研究），到财经到时尚到司法（Mark43）。
　　两个趋势值得关注
　　首先，很多这些应用都是“大数据同乡”，因为他们本身就是建立在最新的大数据技术，并代表客户能够充分利用大数据的有效方式，无需部署底层的大数据技术，因为这些已“在一个盒子“，至少是对于那些特定功能 - 例如，ActionIQ是建立在Spark上，因此它的客户可以充分利用他们的营销部门Spark的权力，而无需实际部署Spark自己 - 在这种情况下，没有“流水线”。
　　第二，人工智能同样在应用程序级别有强大吸引力。例如，在猫捉老鼠的游戏，安全上，AI被广泛利用，它可以识别黑客和打击网络攻击。 “人工智能”对冲基金也开始出现。全部由AI驱动数字助理行业已经去年出现，从自动安排会议（x.ai）任务，到购物为您带来一切。这些解决方案依赖人工智能的程度差别很大，从接近100％的自动化，到个人的能力被AI增强 - 但是，趋势是明确的。
　　在许多方面，我们仍处于大数据的早期。尽管它发展了几年，建设存储和数据的过程只是第一阶段的基础设施。 AI /机器学习出现在大数据的应用层的趋势。大数据和AI的结合将推动几乎每一个行业的创新，这令人难以置信。从这个角度来看，大数据机会甚至可能比人们认为的还大。
　　随着大数据的不断成熟，这个词本身可能会消失或者变得过时，没有人会使用它了。它是成功通过技术，变得很普遍，无处不在，并最终无形化。
　　原文：Is Big Data Still a Thing? (The 2016 Big Data Landscape)
(责任编辑：魏 UF023)
&&&&&&</div
搜狐财经致力遇汇集变革力量，评出“中国最具变革力人物&#8226;公司”[]
图解财经：
今日主角：
客服热线：86-10-
客服邮箱：& & 关于大数据，有这样一段话：& & &Big data is like teenage sex,everyone talks about it,nobody really knows how to do it,everyone thinks everyone else is doing it,so everyone claims they are doing it.&& &n……
声明：该文章系网友上传分享，此内容仅代表网友个人经验或观点，不代表本网站立场和观点；若未进行原创声明，则表明该文章系转载自互联网；若该文章内容涉嫌侵权，请及时向
论文写作技巧
上一篇：下一篇：
相关经验教程打破谣言！ 关于大数据的十个有力事实
　作者: 核子可乐 编译　编辑:
　　四、大数据等同于大财富　　大数据相关岗位的薪酬相当突出。根据Burtch Works公司发布的2014年4月数据科学家薪酬报告，2014年数据科学家职位的基础薪酬为每年12万美元，相关管理岗位则为每年16万美元。这一结论以Burtch Works就业数据库的分析为基础，涉及超过170位数据科学家在采访中的意见反馈。对于范畴更为广泛的大数据相关专业人士而言，也就是那些“利用复杂的定量分析技术对事务、相互作用或者其它人为因素进行数据化描述、从而得出结论及对应方案的从业者”，其整体薪酬同样实现了显著提升。这类工作人员在2013年获得的平均薪酬水平在每年9万美元左右，而相关管理岗位则开出了每年14.5万美元这一令人艳羡的平均工资。　　五、大数据专业人士是否准备好迎接物联网时代?　　大多数IT专家表示他们还没有开始为物联网时代的来临进行准备。Spiceworks公司今年四月对440位IT专业人士进行了调查，了解他们如何看待物联网并有针对性地推进前期准备工作。其中62%的受访者来自北美地区，38%则来自EMEA(即欧洲、中东以及非洲)地区。超过一半(59%)的受访者指出，他们还没有采取具体的步骤来处理未来产生自传感器、摄像头以及其它各类物联网设备的海量数据。不过调查还发现，也有相当一部分IT专业人士开始切实筹备物联网相关事宜，包括向基础设施、安全、应用以及分析机制进行投资，并同时扩大数据传输带宽。　　六、数据科学家：仍然性感、依旧迷人　　2012年10月《哈佛商业评论》发布了一篇抓人眼球的报道，其中将数据科学相关工作称为“二十一世纪最性感的工作岗位”。这种说法存在一定争议，不过如果把“性感”当成是需求的代名词则更容易理解，这是指数据科学家仍然拥有旺盛的市场需求。根据全球IT职业介绍服务供应商Modis的统计，目前数据科学家仍然处于“需求高企但供应不足”的阶段，换言之与大数据相关的博士学位持有者年平均薪酬都能超过六位数。　　七、颤抖吧，数据仓库：Hadoop就要将你取而代之了　　数据仓库业界是否该为Hadoop的迅速崛起而感到担忧甚至恐慌?抑或是该向其敞开热情的怀抱?Cloudera公司的Doug Cutting与Hortonworks公司的Arun Murthy作为Hadoop领域的两位先驱者，在本届Hadoop 2014峰会的问答环节中提出了这样的问题。尽管很多企业开始将数据仓库中的工作负载迁移到Hadoop环境当中，但这种作法仍然没有成为主流。但未来情况是否会有变化?“如果相当比例的用户不再增加数据仓库的规模，反而由于发现了Hadoop类系统在处理效率与负担成本方面的优势而对数据仓库方案进行投资或者规模缩减处理，那我认为这确实应该算作一种威胁，”Cutting解释道。　　八、对于隐私的忧虑不会阻碍大数据的前进步伐　　对于隐私与安全漏洞的担忧与看似无穷无尽的问题解决道路不可能阻止大数据的发展进程。《经济学家》在今年六月的一篇报道中指出，“没有证据表明隐私问题会给数据的使用以及存储方式带来根本性转变。”Gartner公司分析师Carsten Casper在接受该杂志采访时表示，IT领域并没有酝酿一场“隐私大革命”。而且尽管企业用户始终在就隐私相关问题提出更多要求，但其中九成查询其实指向的都是本地数据中心，Casper补充称。　　九、大数据推动软件市场快速增长　　从2013年到2018年，全球软件市场的年度复合增长率将在6%上下浮动，研究企业IDC公司预测称。不过大数据相关门类，包括协作应用程序与数据访问、分析与交付解决方案以及结构化数据管理软件，将在未来五年内迎来更高的年度复合增长水平(约为9%)，IDC指出。　　对于社交媒体的进一步关注也将有助于这种增长趋势的持续。“社交媒体关注度与面向大数据及分析解决方案的需求增长可谓互相依托，二者将帮助企业理解并切实推进对于客户行为的预期以及与产品可靠性及维护相关的新思路，”IDC公司分析师Herny Morris在一份声明中表示。　　十、几乎万事万物都将与网络相连　　物联网将包含众多千奇百怪但又精妙非常的设备，其中很多对于大数据领域来说都是前所未见的新鲜事物。有鉴于此，ABI研究公司的分析师们预计到2020年，全球无线联网设备总量将超过300亿。其中医疗相关数据收集方案将在物联网时代下扮演重要角色。　　下面我们来看一个独特的例子：微软与来自罗切斯特大学(纽约)以及南安普敦大学(英国)的研究人员们共同设计出一款智能纹胸，能够借助传感器检测穿着者的心跳与皮肤活性、从而计算出其压力水平，BBC报道称。这款纹胸能够收集数据并将其发送至智能手机端的应用程序，从而利用穿戴式技术掌握用户的压力水平，进而帮助其摆脱由压力引发的暴饮暴食、保持良好的饮食习惯。　　原文链接：
大学生分期购物销量榜
IT168企业级}