解决方法：master和slave配置成同一个IP导致嘚要配成不同IP

16、经验：不要随意格式化HDFS，这会带来数据版本不一致等诸多问题格式化前要清空数据文件夹

解决方法：sshd被关闭或没安装導致，which sshd检查是否安装若已经安装，则sshd restart并ssh 本机hostname，检查是否连接成功

解决方法：pom.xml文件中标签下加入

解决方法：清除ES中跟scala数据类型不兼容的髒数据

133、HDFS误删文件如何恢复解决方法：core-site文件中加入

     HDFS垃圾箱设置可以恢复误删除，配置的值为分钟数0为禁用

134、改了linux定时脚本里边部分任務顺序，导致有些任务未执行而有些重复执行

解决方法：Linux脚本修改后实时生效，务必在脚本全部执行完再修改以免产生副作用

135、经验：spark两个分区方法coalesce和repartition，前者窄依赖分区后数据不均匀，后者宽依赖引发shuffle操作，分区后数据均匀

解决方法：去掉以hdfs开头的IP端口号前缀直接写HDFS中的绝对路径，并用单引号括起来

142、crontab中启动的shell脚本不能正常运行但是使用手动执行没有问题

解决方法：集群资源不够，确保真实剩餘内存大于spark job申请的内存

145、启动presto服务器部分节点启动不成功

解决方法：JVM所分配的内存，必须小于真实剩余内存

149、大数据ETL可视化有哪些主流方案

150、经验：presto集群没必要采用on yarn模式因为hadoop依赖HDFS，如果部分机器磁盘很小HADOOP会很尴尬，而presto是纯内存计算不依赖磁盘，独立安装可以跨越多個集群可以说有内存的地方就可以有presto