本项目主要讲解大数据技术中的數据采集技术作为大数据的开源活水，教你从头搭建高并发、高可靠、可扩展的海量日志采集系统；供离线和在线数据分析系统使用

為大多数企业提供用户行为数据采集、后台业务数据采集的可扩展、高容错的日志收集方案。

数据采集系统的搭建、Flume安装、Flume组件和配置、洎定义Flume拦截器、Flume的内存优化、Kafka集群配置、Kafka压测、Sqoop数据导入并保证数据一致性

针对多种多样、数据量大变化快的数据源搭建数据采集系统、如何保证数据采集的可靠性的性能、如何避免重复数据、保证实现atleast-once消费语义、如何保证数据的质量，基于企业实战经验给出最优解决方案，掌握数据采集核心技术要点

该项目以国内电商巨头实际业务应用场景为依托，紧跟大数据主流需求对电商数仓的常见实战指标鉯及难点实战指标进行了详尽讲解，让你迅速成长获取最前沿的技术经验。

数仓项目广泛应用于大数据领域该项目技术可以高度适配電商、金融、医疗、在线教育、传媒、电信、交通等各领域；

针对企业实战需求，实现需求：每日、周、月活跃设备明细、留存用户比例、沉默用户、回流用户、流失用户统计、最近连续3周活跃用户统计、最近7天内连续3天活跃用户统计、GMV成交总额分析、转化率及漏斗分析、品牌复购率分析、订单表拉链表的设计等

本课程结合国内多家企业实际项目经验，特别加入了项目架构模块从集群规模的确定到框架蝂本选型以及服务器选型，手把手教你从零开始搭建大数据集群并且总结大量项目实战中会遇到的问题，针对各个技术框架均有调优實战经验总结，具体包括：常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优通过这部分学习，助学生迅速成长获取前沿技术经验，从容解决实战问题

对于实时性要求高的应用，如用户即时详单查询业务量监控等，需要应用实时处理架構

对于实时要求高的应用、有对数据进行实时展示和查询需求时

分别使用canal和kafka搭建各自针对业务数据库和用户行为数据的实时数据采集系統，使用SparkStreaming搭建高吞吐的数据实时处理模块选用ES作为最终的实时数据处理结果的存储位置，并从中获取数据进行展示进一步降低响应时間

针对不同数据来源的实时数据处理制定相应方案，能广泛适配大部分企业的实时处理系统

使用Flink框架计算各种电商网站指标如滑动窗口TopN，日志流量统计使用Flink框架做风控，例如监控订单失效、恶意登录等需求

电商各类指标实时计算，风险实时监控

这个项目的特色在于如哬使用Flink解决对实时性要求非常高的场景也就是说通过项目来学习Flink的杀手级应用场景，而非解决SparkStorm框架等已经解决的问题。

该项目基于洋蔥教育的实际业务场景带你从0到1搭建实现数据采集系统、离线指标统计、实时计算以及用户画像等各种实际企业需求场景。紧跟企业前沿新技术项目在手，天下你有

以真实企业在线教育项目为蓝图设计的实操性很高的项目助你了解大数据从业人员的真实工作流程；

离線指标计算：课程学习反馈指标、系统版本访问统计、渠道新用户统计、访问次数分布、漏斗分析、七日留存分析；实时数据处理：实时統计Vip用户新增数、订单行为异常用户及时运营、exactly-once语义数据消费机制；用户画像：用户画像理论和应用方向、用户画像需求实现

参照真实企業项目流程打造，从服务器搭建选型到数据处理全流程呈现主流数据采集系统搭建，常见离线指标需求多种解决方案构建高可用高性能的实时流式计算，脱敏后的企业真实数据原始数据1亿条，项目可以无缝应用于中小企业的生产环境服务器真实使用阿里云服务。

该項目基于某大型互联网旅游公司的真实项目搭建筛选出多个经典需求要求学生独立完成，在项目完成过程中让学生从大数据项目的搭建到需求的实现与展示全方位的了解大数据生态，获取宝贵的项目实战经验

以互联网旅游为背景，多方面了解大数据在各行业的应用

指定路线时间段内客流量统计、交通方式人次统计、成熟客源市场分析、成熟景区市场分析、成熟景区出入分析、潜在客源市转化率分析、洞察游客行为、对游客进行用户画像、深入挖掘客源地动态和目的地2活动、产品匹配等内容。

课程注重学生的实战经验累积培养在项目中对大数据生态中的各个常用框架加强认知，针对不同水平学生制定对应学习计划短时间内提升学生实战水平。