皮皮网

1.学Python能干什么？
2.大数据方面核心技术有哪些？

学Python能干什么？

       Python可以做什么？

       1）网站后端程序员：使用它单间网站，后台服务比较容易维护。如：Gmail、Youtube、知乎、豆瓣

       2）自动化运维：自动化处理大量的运维任务

       3）数据分析师：快速开发快速验证，分析数据得到结果

       4）游戏开发者：一般是作为游戏脚本内嵌在游戏中

       5）自动化测试：编写为简单的实现脚本，运用在Selenium/lr中，实现自动化。

       6）网站开发：借助django,flask框架自己搭建网站。

       7）爬虫获取或处理大量信息：批量下载美剧、运行投资策略、爬合适房源、系统管理员的脚本任务等。

大数据方面核心技术有哪些？

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、Chainer机架源码数据库、数据仓库、机器学习、并行计算、可视化等。

       1、数据采集与预处理：FlumeNG实时日志收集系统，黄金比例主图指标源码公式源码支持在日志系统中定制各类数据发送方，用于收集数据；Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。

       2、公众号对接源码大淘客源码数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，奔梦网络源码交易平台源码是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。GG源码转换为xs源码怎么用

       3、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。

       4、数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

       5、数据可视化：对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。