实用工具

0
EasyHadoop 是一个Hadoop一键安装系统,方便大家更容易安装部署Hadoop软件。 EasyHadoop 由前暴风影音数据团队修湘调研,向磊编写,以GPL协议进行开源       开放此管理部署系统方便大家安装使用,以此和行业共同学习进步。 支持特性如下: 1.Haoop 稳定版本 hadoop-1.1.2-1 2.集成 JDK 6 3.集成LZO,hadoop-gpl-packaging-0.6.1-1 4.界面化一键安装部署管......

编程开发

0
先看看什么是hive? •Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 •本质是将SQL转换为MapReduce程序   hive用在hadoop平台操作数据很简单,基本语法跟mysql差不多,所以有数据库基础的玩这个就很容易上手了。   Hive提供了很多的函数,可以在命令行下show functions罗列所有的函数,你会发现这些函数名与......

编程开发

0
一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文件名和位置信息。 (2).如何创建archive? 用法:hadoop archive -archiveName NAME <src>* <des......

编程开发

0
    由于公司采用大数据平台来处理数据了,作为安全人员,必定是每天都在操作这些数据,数据量过大,于是最近换成了hadoop来做数据处理,结合hive,使用起来就很方便了, 整理下hadoop常用的语句。     启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 ......

科普专线

0
前言 折腾了一段时间hadoop的部署管理,写下此系列博客记录一下。 为了避免各位做部署这种重复性的劳动,我已经把部署的步骤写成脚本,各位只需要按着本文把脚本执行完,整个环境基本就部署完了。部署的脚本我放在了开源中国的git仓库里(http://git.oschina.net/snake1361222/hadoop_scripts)。 本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列......