分类目录归档：hadoop

2015
12-24

（转）mapreduce 中文版 中文翻译 2941 VIEW

原著地址：http://blog.csdn.net/active1001/article/details/1675920 MapReduce:超大机群上的简单数据处理                                             摘要 MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间.... Read More >
2015
12-24

谷歌三大论文中文版之一：Bigtable：一个分布式的结构化数据存储系统 2171 VIEW

原著：http://blog.csdn.net/shijinupc/article/details/7475575 Bigtable：一个分布式的结构化数据存储系统 摘要 Bigtable是一个管理结构化数据的分布式存储系统，它被设计用来处理海量数据：分布在数千台通用服务器上的PB级的数据。Google的很多项目将数据存储在Bigtable中，包括Web索引、Google Earth、G.... Read More >
2015
12-24

（转）The Google File System 中文版 96589 VIEW

摘要 我们设计并实现了Google文件系统，一个面向分布式数据密集型应用的、可伸缩的分布式文件系统。虽然运行在廉价的日用硬件设备上，但是它依然了提供容错功能，为大量客户机提供了很高的总体性能。 虽然与很多之前的分布式文件系统有很多相同目标，但是，我们的设计已经受应用的负载情况和技术环境影响，现在以及可预见的将来都反映出，我们的设计和早期的分布式文件系统的设想有了显著的分离。这让我们重新.... Read More >
2015
11-20

大数据学习基础课程目录 之二 Linux 1351 VIEW

Linux基础 Linux是一个什么样的操作系统 Linux数据安全支持 交换空间防内存不够、数据盘挂载防系统崩溃 Linux用户和组 切换用户su sudo暂时使用管理员命令 Linux权限 Linux文本查看 cat more vi gedit等 Linux文本编辑与处理 cat vi gedit等 Linux主机名配置 Linux网络配置 Linux防火墙设置 .... Read More >
2015
10-22

使用jps命令查看hadoop2.x的各种进程 解决Linux操作系统下 process information unavailable问题 1773 VIEW

使用jps命令查看hadoop2.x的各种进程 解决Linux操作系统下 process information unavailable问题 jps命令是用来查看系统中运行的java应用程序中运行的进程信息的。 其本质是去往系统的/tmp目录下找名为hsperfdata_xxx的文件夹，从中获取进程信息，如下图所示： 需要注意的是，我的上述图片的目录的所属权（我安装的hadoop是HDP版本的，Apache版本的可能有所差异）.... Read More >
2015
09-30

hadoop 单节点安装 官方文档 汉化 1116 VIEW

Hadoop: 设置一个单节点集群。 Hadoop: 设置一个单节点集群。 目标 先却条件 支持的平台 需要的软件 安装软件 下载 准备开启hadoop集群 独立的操作 伪分布操作 配置 设置 passphraseless ssh 执行 YARN 在一个节点上 全分布操作 目标 这个文档.... Read More >
12下一页 »