皮皮网

1.【开源项目】轻量元数据管理解决方案——Marquez
2.盘点 35 个 Apache 顶级项目，我拜服了…
3.雪佛兰科鲁兹发动机怎么样
4.大疆晓Spark电池充电需要多久
5.django后端用什么写？
6.Apache 两个开源项目比较：Flink vs Spark

【开源项目】轻量元数据管理解决方案——Marquez

       轻量级元数据管理解决方案——Marquez

       Marquez，由WeWork开源的元数据管理工具，专为简化数据生态系统元数据的收集、聚合和可视化而设计。它提供了一个轻量级的鼠标宏源码bin下载元数据服务，帮助用户全面掌握数据集的产生和消费情况，以及数据处理过程的可视化，并集中管理数据集的生命周期。

       Marquez在持续发展中，当前标星数为1.5K，最新版本发布于三周前的0..1，主要使用Java和TS语言开发。部署方式与Java项目类似，只需启动对应Web端服务和API服务。Marquez的血缘API简洁高效，便于建立数据血缘依赖关系，确保数据分析质量。如需获取安装包、源代码及学习资料，可访问官网或使用大数据流动后台回复“Marquez”。

       Marquez的安装流程简洁，通过命令行即可快速完成。启动命令如下：$ git clone github.com/MarquezProject/marquez && cd marquez$ ./docker/up.sh --seed，之后通过访问/OpenLineage/...", "schemaURL": "openlineage.io/spec/1-0..." }' 完成任务后，使用类似代码进行：$ curl -X POST /OpenLineage/...", "_schemaURL": "github.com/OpenLineage/...", "fields": [ { "name": "a", "type": "VARCHAR"}, { "name": "b", "type": "VARCHAR"} ] } } }], "producer": "github.com/OpenLineage/...", "schemaURL": "openlineage.io/spec/1-0..." }' 正常运行应接收到 CREATED的响应，并在页面上找到血缘展示。

       Marquez不仅简化了元数据管理，还提供了标准的博达工业云源码元数据采集方案，目前支持Spark、Airflow的表级别和列级别数据血缘收集，而Flink仅支持表级别的血缘收集。Marquez未来有望支持更多数据源，共同期待其发展。

盘点 个 Apache 顶级项目，我拜服了…

       Apache软件基金会，全称为Apache Software Foundation（ASF），成立于年7月，是世界上最大的最受欢迎的开源软件基金会，是一个非营利性组织，专门支持开源项目。

       目前，ASF旗下有超过+亿美元的价值，为开发者提供免费的开源软件和项目，惠及全球数十亿用户。

       接下来，我们将盘点Apache软件基金会旗下的个顶级项目，这些项目在日常开发过程中常常遇到，有的可能已经使用过，而有的则值得学习了解，为未来项目提供参考。

       1. Apache（stat-aptn命令行，查看所有开启的端口号

       netstat-ntlp|grep查看具体的端口是否使用

       ps-ef|grepuwsgi查看是否有uwsgi端口存在

Django是不是不用写后台的，用自带的admin管理数据库就行了

       æƒé™åˆ†ç¦»æ¯”较麻烦，默认不存在只读管理员帐号。自己实现只读帐号比较tricky

       æœç´¢åŠŸèƒ½ä¸å¼ºå¤§ï¼Œè‡ªå·±å®žçŽ°é«˜çº§æœç´¢å¾ˆtricky

       äººå®¶çš„模板就没考虑过让你重用，版本升级后你自定义过的模板可能需要把变更merge到新的模板里

后端用了Django还需要单独的前端框架吗

       å…³äºŽåŽç«¯ç¨‹åºå‘˜å†™å‰ç«¯ç”¨ä»¥ä¸‹æ¡†æž¶ï¼š

       1、用Dreamweaver或者网页查看源代码。

       2、bootstrap对响应式的支持以及良好的体验

       3、metronic/adminLTE这个框架的代码更多的是属于粘合剂，将各种不同的第三方库的前端代码粘合起来。

       4、extjs系列。这个是前端领域的庞然大物封装度很高，具有自称体系的元素选择引擎和浏览器兼容方案，JS写法也有自己的方式，组件很多。

       5、vaadin/GWT是使用后台语言写前端。不过不是很建议使用这种方案。

用django后端开发要学什么

       ç¬¬ä¸€é˜¶æ®µï¼šPython语言基础

       ä¸»è¦å­¦ä¹ Python最基础知识，如Python3、数据类型、字符串、函数、类、文件操作等。阶段课程结束后，学员需要完成Pygame实战飞机大战、等项目。

       ç¬¬äºŒé˜¶æ®µï¼šPython语言高级

       ä¸»è¦å­¦ä¹ Python库、正则表达式、进程线程、爬虫、遍历以及MySQL数据库。

       ç¬¬ä¸‰é˜¶æ®µï¼šPythonweb开发

       ä¸»è¦å­¦ä¹ HTML、CSS、JavaScript、jQuery等前端知识，掌握python三大后端框架(Django、Flask以及Tornado)。需要完成网页界面设计实战;能独立开发网站。

       ç¬¬å››é˜¶æ®µï¼šLinux基础

       ä¸»è¦å­¦ä¹ Linux相关的各种命令，如文件处理命令、压缩解压命令、权限管理以及LinuxShell开发等。

       ç¬¬äº”阶段：Linux运维自动化开发

       ä¸»è¦å­¦ä¹ Python开发Linux运维、Linux运维报警工具开发、Linux运维报警安全审计开发、Linux业务质量报表工具开发、Kali安全检测工具检测以及Kali密码破解实战。

       ç¬¬å…­é˜¶æ®µï¼šPython爬虫

       ä¸»è¦å­¦ä¹ python爬虫技术，掌握多线程爬虫技术，分布式爬虫技术。

       ç¬¬ä¸ƒé˜¶æ®µï¼šPython数据分析和大数据

       ä¸»è¦å­¦ä¹ numpy数据处理、pandas数据分析、matplotlib数据可视化、scipy数据统计分析以及python金融数据分析;HadoopHDFS、pythonHadoopMapReduce、pythonSparkcore、pythonSparkSQL以及pythonSparkMLlib。

       ç¬¬å…«é˜¶æ®µï¼šPython机器学习

       ä¸»è¦å­¦ä¹ KNN算法、线性回归、逻辑斯蒂回归算法、决策树算法、朴素贝叶斯算法、支持向量机以及聚类k-means算法。

       ç»“语：以上就是首席CTO笔记为大家整理的关于django后端用什么写的全部内容了，感谢您花时间阅读本站内容，希望对您有所帮助，更多关于django后端用什么写的相关内容别忘了在本站进行查找喔。

Apache 两个开源项目比较：Flink vs Spark

       时间久远，我对云计算与大数据已感生疏，尤其是Flink的崛起。自动驾驶平台需云计算支撑，包括机器学习、深度学习训练、移除时钟工具源码高清地图、模拟仿真模块，以及车联网。近日看到一篇Spark与Flink的比较文章，遂转发分享，以便日后重新学习该领域新知识。

       Apache Flink作为新一代通用大数据处理引擎，致力于整合各类数据负载。它似乎与Apache Spark有着相似目标。两者都旨在构建一个单一平台，用于批处理、流媒体、交互式、图形处理、机器学习等。因此，Flink与Spark在理念上并无太大差异。但在实施细节上，它们却存在显著区别。

       以下比较Spark与Flink的不同之处。尽管两者在某些方面存在相似之处，但也有许多不同之处。

       1. 抽象

       在Spark中，批处理采用RDD抽象，而流式传输使用DStream。Flink为批处理数据集提供数据集抽象，为流应用程序提供DataStream。尽管它们听起来与RDD和DStreams相似，药盒没有溯源码但实际上并非如此。

       以下是差异点：

       在Spark中，RDD在运行时表示为Java对象。随着project Tungsten的推出，它略有变化。但在Apache Flink中，数据集被表示为一个逻辑计划。这与Spark中的Dataframe相似，因此在Flink中可以像使用优化器优化的一等公民那样使用API。然而，Spark RDD之间并不进行任何优化。

       Flink的数据集类似Spark的Dataframe API，在执行前进行了优化。

       在Spark 1.6中，数据集API被添加到spark中，可能最终取代RDD抽象。

       在Spark中，所有不同的抽象，如DStream、Dataframe都建立在RDD抽象之上。但在Flink中，Dataset和DataStream是基于顶级通用引擎构建的两个独立抽象。尽管它们模仿了类似的API，但在DStream和RDD的情况下，无法将它们组合在一起。尽管在这方面有一些努力，但最终结果还不够明确。

       无法将DataSet和DataStream组合在一起，钉钉后台源码如RDD和DStreams。

       因此，尽管Flink和Spark都有类似的抽象，但它们的实现方式不同。

       2. 内存管理

       直到Spark 1.5，Spark使用Java堆来缓存数据。虽然项目开始时更容易，但它导致了内存不足（OOM）问题和垃圾收集（gc）暂停。因此，从1.5开始，Spark进入定制内存管理，称为project tungsten。

       Flink从第一天起就开始定制内存管理。实际上，这是Spark向这个方向发展的灵感之一。不仅Flink将数据存储在它的自定义二进制布局中，它确实直接对二进制数据进行操作。在Spark中，所有数据帧操作都直接在Spark 1.5的project tungsten二进制数据上运行。

       在JVM上执行自定义内存管理可以提高性能并提高资源利用率。

       3. 实施语言

       Spark在Scala中实现。它提供其他语言的API，如Java、Python和R。

       Flink是用Java实现的。它确实提供了Scala API。

       因此，与Flink相比，Spark中的选择语言更好。在Flink的一些scala API中，java抽象也是API的。这会有所改进，因为已经使scala API获得了更多用户。

       4. API

       Spark和Flink都模仿scala集合API。所以从表面来看，两者的API看起来非常相似。

       5. 流

       Apache Spark将流式处理视为快速批处理。Apache Flink将批处理视为流处理的特殊情况。这两种方法都具有令人着迷的含义。

       以下是两种不同方法的差异或含义：

       Apache Flink提供事件级处理，也称为实时流。它与Storm模型非常相似。

       Spark只有不提供事件级粒度的最小批处理（mini-batch）。这种方法被称为近实时。

       Spark流式处理是更快的批处理，Flink批处理是有限的流处理。

       虽然大多数应用程序都可以近乎实时地使用，但很少有应用程序需要事件级实时处理。这些应用程序通常是Storm流而不是Spark流。对于他们来说，Flink将成为一个非常有趣的选择。

       运行流处理作为更快批处理的优点之一是，我们可以在两种情况下使用相同的抽象。Spark非常支持组合批处理和流数据，因为它们都使用RDD抽象。

       在Flink的情况下，批处理和流式传输不共享相同的API抽象。因此，尽管有一些方法可以将基于历史文件的数据与流相结合，但它并不像Spark那样干净。

       在许多应用中，这种能力非常重要。在这些应用程序中，Spark代替Flink流式传输。

       由于最小批处理的性质，Spark现在对窗口的支持非常有限。允许根据处理时间窗口批量处理。

       与其他任何系统相比，Flink提供了非常灵活的窗口系统。Window是Flink流API的主要焦点之一。它允许基于处理时间、数据时间和无记录等的窗口。这种灵活性使Flink流API与Spark相比非常强大。

       6. SQL界面

       截至目前，最活跃的Spark库之一是spark-sql。Spark提供了像Hive一样的查询语言和像DSL这样的Dataframe来查询结构化数据。它是成熟的API并且在批处理中广泛使用，并且很快将在流媒体世界中使用。

       截至目前，Flink Table API仅支持DSL等数据帧，并且仍处于测试阶段。有计划添加sql接口，但不确定何时会落在框架中。

       目前为止，Spark与Flink相比有着不错的SQL故事。

       7. 数据源集成

       Spark数据源API是框架中最好的API之一。数据源API使得所有智能资源如NoSQL数据库、镶嵌木地板、优化行列（Optimized Row Columnar，ORC）成为Spark上的头等公民。此API还提供了在源级执行谓词下推（predicate push down）等高级操作的功能。

       Flink仍然在很大程度上依赖于map / reduce InputFormat来进行数据源集成。虽然它是足够好的提取数据API，但它不能巧妙地利用源能力。因此Flink目前落后于目前的数据源集成技术。

       8. 迭代处理

       Spark最受关注的功能之一就是能够有效地进行机器学习。在内存缓存和其他实现细节中，它是实现机器学习算法的真正强大的平台。

       虽然ML算法是循环数据流，但它表示为Spark内部的直接非循环图。通常，没有分布式处理系统鼓励循环数据流，因为它们变得难以理解。

       但是Flink对其他人采取了一些不同的方法。它们在运行时支持受控循环依赖图（cyclic dependence graph）。这使得它们与DAG表示相比以非常有效的方式表示ML算法。因此，Flink支持本机平台中的迭代，与DAG方法相比，可实现卓越的可扩展性和性能。

       9. 流作为平台与批处理作为平台

       Apache Spark来自Map / Reduce时代，它将整个计算表示为数据作为文件集合的移动。这些文件可能作为磁盘上的阵列或物理文件驻留在内存中。这具有非常好的属性，如容错等。

       但是Flink是一种新型系统，它将整个计算表示为流处理，其中数据有争议地移动而没有任何障碍。这个想法与像akka-streams这样的新的反应流系统非常相似。

       . 成熟

       Flink像批处理这样的部分已经投入生产，但其他部分如流媒体、Table API仍在不断发展。这并不是说在生产中就没人使用Flink流。

脑科学双光子显微成像系统理想飞秒激光光源——Spark Lasers nm飞秒光纤激光器

       Spark Lasers公司推出的ALCOR 系列nm飞秒光纤激光器，因其高功率、窄脉宽、高稳定性与免维护特性，成为了脑科学双光子显微成像系统中主要的光纤飞秒激光器。该产品通过采用Spark Lasers最新的HPC®技术，实现了功率的进一步提升和脉冲形状的优化。相较于前一代产品，ALCOR -1的平均功率从1W提升至1.5W，ALCOR -2的平均功率从2W提升至2.5W，而ALCOR -4仍保持4W的高平均功率，是目前市场上输出功率最高的nm飞秒光纤激光器。

       双光子显微成像系统的核心部件之一飞秒激光器，对系统成像效果至关重要。要获得良好的成像效果，应选择具备高峰值功率的激光器。双光子效应与光子密度正相关，因此高峰值功率意味着更多荧光分子能够同时吸收两个光子达到激发态，并在跃迁至基态的过程中发出荧光。峰值功率计算公式为：峰值功率 = 平均功率 × 重复频率 / 脉冲宽度。例如，标准款ALCOR -2的峰值功率可达.5kW，而脉冲宽度为fs的激光器峰值功率仅为kW，仅为ALCOR -2的.6%，这将大大降低荧光强度，影响成像质量。

       为了优化脉冲宽度，以避免正色散导致脉冲宽度变宽，从而降低荧光强度，ALCOR 系列在激光头内部集成了色散预补偿模块，可在激光发射时即带有负色散，有效抵消光学器件引入的正色散，保持测量点处脉冲宽度的窄度。标准款ALCOR具备0～-fs2的大色散补偿范围，提供0～-fs2的超大色散补偿范围选配，满足大多数双光子显微成像系统对色散补偿的要求。

       为了实现对激光功率的精确控制和调制，ALCOR 可选配XSight模块，内置AOM模块，提供超高精度光强调节、高带宽模拟调制和高速光开关功能，便于实现激光强度的开/关调制或模拟调制，满足复杂功能需求。

基于Spark的Druid 索引任务（druid-spark-batch）

        随着Druid上的DataSource的数量和数据量增加，使用原来的 Hadoop MR索引任务已经不能满足对大数据量写入Druid的需求，急需找到更快的写入方式。就是本文介绍的 druid-spark-batch

        github地址

        注：sbt 编译druid-spark-batch时，需要先把对应版本的druid（如: 0..0）安装到本地mavne仓库，否则或报错 找不到对应的druid包

        Spark is included in the default hadoop coordinates similar to druid.indexer.task.defaultHadoopCoordinates=["org.apache.spark:spark-core_2.:1.5.2-mmx1"]

        1.5.2-mmx1 是依赖的spark版本号，本例使用的是spark-2.2.0， 所以middleManager节点的配置如下：

        同时把依赖的spark2.2.0的包拷贝到 druid-install-path/hadoop-dependencies/spark-core_2./2.2.0 目录下

        Druid 0..0 jackson版本为2.4.6， Druid-spark-batch jackson版本为2.6.5。

        修改Druid 0..0 jackson版本为2.6.5，重新编译，解决该问题。

        guice 和 guava包冲突，druid-spark-batch 是用的是guice-4.1.0.jar 和 guava-.0.1.jar。

        properties 设置 spark.executor.extraClassPath=true， 并配置 spark.executor.extraLibraryPath， 如下：

        druid hdfs-storage extension 模块的HadoopFsWrapper.rename 调用了 Hadoop的FileSystem类中的Rename方法。

        这方法在Hadoop中有2个一个是2个参数，一个3个参数；其中一个保护的一个是公开的。

        解决方法： **修改HadoopFsWrapper种的rename方法，修改成fs.rename(from, to)

**

        src/main/scala/io/druid/indexer/spark/SparkDruidIndexer.scala

        原因：当hdfs路径包含目录时，无法获取文件大小，导致分区startingPartitions值异常，超出2G限制

        修改如下：