GNU是什么？flume有哪几个部分组成？

• 2023-01-17 11:25:10 来源：民企网

GNU是什么

GNU计划，有译为“革奴计划”，是由理查德·斯托曼在1983年9月27日公开发起的。它的目标是创建一套完全自由的操作系统。理查德·斯托曼最早是在net.unix-wizards新闻组上公布该消息，并附带一份《GNU宣言》等解释为何发起该计划的文章，其中一个理由就是要“重现当年软件界合作互助的团结精神”。

GNU是“GNU's Not Unix”的递归缩写，为避免与gnu(非洲牛羚，发音与“new”相同)这个单词混淆，斯托曼宣布GNU应当发音为“Guh-NOO”(/ˈgnuː/)，与“canoe”发音相似。

UNIX是一种广泛使用的商业操作系统的名称。由于GNU将要实现UNIX系统的接口标准，因此GNU计划可以分别开发不同的操作系统。GNU计划采用了部分当时已经可自由使用的软件，例如TeX排版系统和X Window视窗系统等。不过GNU计划也开发了大批其他的自由软件，这些软件也被移植到其他操作系统平台上，例如Microsoft Windows、BSD家族、Solaris及MacOS。

为保证GNU软件可以自由地“使用、复制、修改和发布”，所有GNU软件都包含一份在禁止其他人添加任何限制的情况下，授权所有权利给任何人的协议条款，GNU通用公共许可证(GNU General Public License，GPL)。这个就是被称为‘公共版权’的概念。GNU也针对不同场合，提供GNU宽通用公共许可证(与GNU自由文档许可证这两种协议条款。

GNU操作系统好用吗

GNU 自己的内核 Hurd 仍在开发中，离实用还有一定的距离。因此，GNU 通常使用 Linux 内核。这样的组合即为GNU/Linux 操作系统，已经有上百万人在使用 GNU/Linux，但他们中的很多人把它误称为“Linux”。

当Linus Torvalds 写成了Linux，他填补了一个重要的空白，可以将 Linux 和 GNU 系统组成一个完整的自由系统：基于 Linux 的 GNU 系统(或简称为 GNU/Linux 系统)。把它们组合到一起听起来很容易，但是这并不是一个简单的工作。 GNU C 库 (简称glibc) 需要作大量的修改。集成到一个完整的发行系统中也是一项很大的工作。它需要对如何安装和启动系统进行定位 -- 这个问题直到现在还在完善，因为我们还没有抓住要点。那些开发了不同的发行系统的人们作出了巨大贡献。

flume有哪几个部分组成

Flume主要由Source、Channel、Sink三个部分组成，这三部分组成了一个Agent。Agent是一个JVM进程，它以事件event的形式将数据从源头送至目的地。

Source：负责接收数据到Flume Agent的组件，可以处理各种类型、各种格式的日志数据。

Sink：Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

Channel：Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。同时，Flume自带两种Channel：Memory Channel和File Channel。Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。而另一个File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

MapReduce的主要功能

MapReduce实现了以下4大主要功能：

1)数据划分和计算任务调度

系统自动将一个作业(Job)待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务(Task)，并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点(Map节点或Reduce节点)，同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。

2)数据/代码互定位

为了减少数据通信，一个基本原则是本地化数据处理，即一个计算节点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向 数据的迁移;当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点(数据向代码迁移)，但将尽可能从数据所在的本地机架上寻 找可用节点以减少通信延迟。

3)系统优化

为了减少数据通信开销，中间结果数据进入Reduce节点前会进行一定的合并处理;一个Reduce节点所处理的数据可能会来自多个 Map节点，为了避免Reduce计算阶段发生数据相关性，Map节点输出的中间结果需使用一定的策略进行适当的划分处理，保证相关性数据发送到同一个 Reduce节点;此外，系统还进行一些计算性能优化处理，如对最慢的计算任务采用多备份执行、选最快完成者作为结果。

4)出错检测和恢复

以低端商用服务器构成的大规模Mapreduce计算集群中，节点硬件(主机、磁盘、内存等)出错和软件出错是常态，因此 MapReduce需要能检测并隔离出错节点，并调度分配新的节点接管出错节点的计算任务。同时，系统还将维护数据存储的可靠性，用多备份冗余存储机制提 高数据存储的可靠性，并能及时检测和恢复出错的数据。

关键词: GNU是什么意思 GNU操作系统好用吗 flume有哪几个部分组成 MapReduce的主要功能