201601-14 Hbase新版(1.x)JAVA API 1901 VIEW 详见本人如下github地址: https://github.com/itmmy/Hbase.... Read More >
201512-24 (转)mapreduce 中文版 中文翻译 2667 VIEW 原著地址:http://blog.csdn.net/active1001/article/details/1675920 MapReduce:超大机群上的简单数据处理 摘要 MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间.... Read More >
201512-24 谷歌三大论文中文版之一:Bigtable:一个分布式的结构化数据存储系统 1878 VIEW 原著:http://blog.csdn.net/shijinupc/article/details/7475575 Bigtable:一个分布式的结构化数据存储系统 摘要 Bigtable是一个管理结构化数据的分布式存储系统,它被设计用来处理海量数据:分布在数千台通用服务器上的PB级的数据。Google的很多项目将数据存储在Bigtable中,包括Web索引、Google Earth、G.... Read More >
201512-24 (转)The Google File System 中文版 91719 VIEW 摘要 我们设计并实现了Google文件系统,一个面向分布式数据密集型应用的、可伸缩的分布式文件系统。虽然运行在廉价的日用硬件设备上,但是它依然了提供容错功能,为大量客户机提供了很高的总体性能。 虽然与很多之前的分布式文件系统有很多相同目标,但是,我们的设计已经受应用的负载情况和技术环境影响,现在以及可预见的将来都反映出,我们的设计和早期的分布式文件系统的设想有了显著的分离。这让我们重新.... Read More >
201511-20 大数据学习基础课程目录 之二 Linux 1260 VIEW Linux基础 Linux是一个什么样的操作系统 Linux数据安全支持 交换空间防内存不够、数据盘挂载防系统崩溃 Linux用户和组 切换用户su sudo暂时使用管理员命令 Linux权限 Linux文本查看 cat more vi gedit等 Linux文本编辑与处理 cat vi gedit等 Linux主机名配置 Linux网络配置 Linux防火墙设置 .... Read More >
201510-22 使用jps命令查看hadoop2.x的各种进程 解决Linux操作系统下 process information unavailable问题 1601 VIEW jps命令是用来查看系统中运行的java应用程序中运行的进程信息的。 其本质是去往系统的/tmp目录下找名为hsperfdata_xxx的文件夹,从中获取进程信息,如下图所示: 需要注意的是,我的上述图片的目录的所属权(我安装的hadoop是HDP版本的,Apache版本的可能有所差异).... Read More >
201509-30 hadoop 单节点安装 官方文档 汉化 1037 VIEW Hadoop: 设置一个单节点集群。 Hadoop: 设置一个单节点集群。 目标 先却条件 支持的平台 需要的软件 安装软件 下载 准备开启hadoop集群 独立的操作 伪分布操作 配置 设置 passphraseless ssh 执行 YARN 在一个节点上 全分布操作 目标 这个文档.... Read More >
201505-03 hive参数配置方式 1058 VIEW 配置文件 hive-site.xml hive-default.xml Hadoop中的配置文件 命令行参数 启动Hive(客户端或Server方式)时,可以在命令行添加-hiveconfparam=value,但这一设定只对本次启动的Session有效 参数声明 在hiveql前用set关键字进行参数设定,这一设定的作用域也是Ses.... Read More >
201504-26 (转)hive配置文件详解 1101 VIEW 原地址:http://www.aboutyun.com/thread-7548-1-1.html hive.ddl.output.format:hive的ddl语句的输出格式,默认是text,纯文本,还有json格式,这个是0.90以后才出的新配置; hive.exec.script.wrapper:hive调用脚本时的包装器,默认是null,如果设置为python的话,那么在做脚本调.... Read More >
201408-07 hive 错误收集(长期更新) 1395 VIEW 写在前面 很多小错误我们不以为然,却能给我们带来莫大困扰,谨记于此,与君共享 错误类型 造成影响 错误原因 解决办法 java.io.IOException: Could not find status of job:job_1407230687147_0771 注释错误 无法找到job状态 注释开头有空格 去.... Read More >