从零开始实施推荐系统的落地部署——35.推荐系统案例（二十五）解决华为云DLV的遇到的问题和spark的搭建

    上一篇博客简述了如何使用华为云DLV做大屏数据可视化，现在出现2个问题导致数据大屏无法显示：

（1）因为左图2和右图1使用的平均股价涨跌幅，负数为跌幅，WT双轴线状图不支持负数。导致线状图无法显示。经查看，基础版的图形只有地图支持负数，其他图形都不支持，只能把平均涨跌幅变更为平均成交额。

（2）之前购买华为云MRS套餐是不带弹性IP，所以之前安装的mysql的端口不对外开放，但是我现在购买是其他厂商的云服务器（不购买华为云弹性云服务器ECS，是因为对老用户来说，购买没有优惠，增加学习成本），包含弹性IP，安装mysql使用默认端口和简单的密码为123456，导致被人攻击，删除了数据库的表和数据，造成整个数据大屏无法展示。这真是一个深刻的教训。

    之前我一直以为spark的搭建只能在hadoop的基础上，通过参加大数据全栈成长计划的学习，了解到spark也能单独部署。因为云服务器硬件资源有限，也只能搭建spark 单机版来使用。

1.把spark版本下载下来解压

tar -zxf /opt/softwares/spark-2.2.2-bin-hadoop2.7.tgz -C /opt/modules/

cd /opt/modules/

mv spark-2.2.2-bin-hadoop2.7  spark

2.scala安装及环境变量设置

tar -zxf /opt/softwares/scala-2.11.12.tgz -C /opt/modules/

cd /opt/modules/

mv scala-2.11.12 scala

cd /opt/modules/spark/conf

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

# 配置JDK安装位置

export JAVA_HOME=/opt/modules/jdk

export SPARK_HOME=/opt/modules/spark

export SPARK_MASTER_IP=spark1.wuyi.com

3.配置环境变量

vi .bash_profile

export JAVA_HOME=/opt/modules/jdk

export SPARK_HOME=/opt/modules/spark

export SCALA_HOME=/opt/modules/scala

export PATH=$PATH:$JAVA_HOME/bin:$SPARK_HOME/bin:$SCALA_HOME/bin

source .bash_profile

4.为什么选择spark-2.2.2版本？虽然python来做大数据开发的案例很少，但是我希望使用python来做开发，是为后面使用tensorflow框架做wipe&Deepd的排序模型统一开发语言。因为python对spark-streaming和kafka目前只支持spark-2.2.2以下的版本，而且spark-streaming-kafka只能是0.8。注意1.0版本是不支持python。把spark-streaming-kafka-0-8_2.11-2.2.2.jar 上传到spark1.wuyi.com:/opt/modules/spark/jars/

5.启动和关闭spark

/opt/modules/spark/sbin/start-all.sh

/opt/modules/spark/sbin/stop-all.sh

    总结以下几点：（1）发现华为云DLV即使是高级版和专业版，支持负数的图形也就是地图和水平正负柱图，形式单一。不利于财务等容易出现负数的业务场景。

（2）当数据库需要对外开放时，为了安全，建议修改端口和增强密码强度，以免被人攻击。查看mysql端口：show global variables like 'port';修改端口要编辑/etc/my.cnf里mysqld的下面一行添加端口，重启mysql后生效。

（3）python做统一开发语言，学习相对于java和scala比较简单，除了能做深度学习，还能利用flask搭建网站，使用python做网页的开发。还能做项目测试和自动化运维。Python强大的功能，让我想起了一句话，人生苦短,我用python！

链接：https://console.huaweicloud.cn/dlv/vision/share/?id=033c5d78820948a9bd9669faeb983c0f&locale=zh-cn&region=cn-north-4