Python与设计模式 - 单例模式

单例模式

单例模式(Singleton Pattern)是一种常用的软件设计模式,该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中,某个类只能出现一个实例时,单例对象就能派上用场。

比如,某个服务器程序的配置信息存放在一个文件中,客户端通过一个 AppConfig 的类来读取配置文件的信息。如果在程序运行期间,有很多地方都需要使用配置文件的内容,也就是说,很多地方都需要创建 AppConfig 对象的实例,这就导致系统中存在多个 AppConfig 的实例对象,而这样会严重浪费内存资源,尤其是在配置文件内容很多的情况下。事实上,类似 AppConfig 这样的类,我们希望在程序运行期间只存在一个实例对象。

在 Python 中,我们可以用多种方法来实现单例模式。

Hadoop Spark简单理解

hadoop和Spark是两种不同的大数据处理框架,他们的组件都非常多。
下面是两种框架使用到的一些组件整理

蓝色部分,是Hadoop生态系统组件,黄色部分是Spark生态组件。
虽然他们是两种不同的大数据处理框架,但它们不是互斥的,Spark与hadoop 中的MapReduce是一种相互共生的关系。
Hadoop提供了Spark许多没有的功能,比如分布式文件系统,而Spark 提供了实时内存计算,速度非常快。有一点大家要注意,Spark并不是一定要依附于Hadoop才能生存,除了Hadoop的HDFS,还可以基于其他的云平台,当然啦,大家一致认为Spark与Hadoop配合默契最好罢了。

大数据测试开发-0:大数据介绍

从上一篇文章我们了解到人工智能=大数据+算法 或者 人工智能=大数据+机器学习,总之,人工智能和大数据是密不可分的。那么对大数据必须要有一定的了解才可以

背景

我们接下来讲讲Spark,为什么要讲Spark呢,因为我们性能测试的需求要造10亿级甚至更多的数据。普通的方式肯定不行了,得用到spark提交到yarn上运行才跑的动。所以现在我们来谈论谈论大数据方面的东西。同时大数据也是人工智能的基础,现在搞搞大数据的东西,也为以后讨论人工智能方面的测试做做铺垫吧。