ITeye博客

天生我材必有用,千金散尽还复来

xiaobian · 共 196 篇文章

探索 Pexpect,第 1 部分:剖析 Pexpect

From: http://www.ibm.com/developerworks/cn/linux/l-cn-pexpect1/index.html 探索 Pexpect,第 1 部分:剖析 Pexpect 吕 学良 ( lvxuel@cn.ibm.com ), 软件工程师, IBM 丁 钦浩 ( dingqinh@cn.ibm.com ), 软件开发工程师, IBM 王 乾 ( wqwqain@cn.ibm.com ), 软件工程师, IBM 简介: Pexpect 是一个用来启动子程序并对其进行自动控制的 Python 模块。 Pexpect 可以用来和像 ssh、ftp、passwd、t…

2011-04-15 11:22 · 评论(0)

HDFS 抛出错误 (java.io.IOException: config())

DEBUG [main] Configuration.<init>(211) | java.io.IOException: config() at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:211) at com.netqin.hdfs.MyHdfs.isExists(MyHdfs.java:20) at com.netqin.hdfs.MyHdfs.main(MyHdfs.java:41) 在客户端使用API访问HDFS的时候保了一个这样的错误。 通过定位代码: /** A new configuratio…

2011-04-07 14:56 · Hadoop · 评论(1)

HBase vs Cassandra: 我们迁移系统的原因

HBase vs Cassandra: 我们迁移系统的原因 原文: http://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/ 原作者:Dominic Williams 原文发布日期:February 24, 2010 at 7:27 pm 译者: 王旭 (http://wangxu.me/blog/ , @gnawux) 翻译时间:2010年3月21-25日 我的团队近来正在忙于一个全新的产品——即将发布的网络游戏 www.FightMyMonster.com。这让我们得以奢侈地去构建一个全新的 NOSQL…

2011-04-01 14:52 · Hadoop · 评论(0)

hbase 介绍

hbase 介绍 一、简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 First useable Hbase 2008.1 Hadoop become Apache top-level project and Hbase becomes subproject 2008.10 Hbase 0.18,0.19 released hbase是bigtable的开源…

2011-04-01 14:51 · Hadoop · 评论(0)

HBase技术介绍

From: http://www.searchtb.com/2011/01/understanding-hbase.html HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop …

2011-04-01 14:49 · Hadoop · 评论(0)

HBase与BigTable的比较(翻译)

知,HBase是Google的BigTable架构的一个开源实现。但是我个人觉得,要做到充分了解下面两点还是有点困难的: 一 HBase涵盖了BigTable规范的哪些部分? 二 HBase与BigTable仍然有哪些区别? 下面我将对这两个系统做些比较。 在做比较之前,我要指出一个事实:HBase是非常接近BigTable论文描述的东西。撇开一些细微的不同,比如HBase 0.20使用ZooKeeper做它的分布式协调服务,HBase已经基本实现了BigTable所有的功能,所以我下面的篇幅重点落在它们细微的区别上,当然也可以说是HBase小组正在努力改进的地方上。 比较范围 本文比较的是…

2011-04-01 13:41 · Hadoop · 评论(0)

Cassandra Vs HBase

Cassandra vs HBase By Vaibhav Puranik Translated By Jametong 我们是一家广告网络公司.我们需要存储展示与点击信息.我们在为我们的新项目评估多个不同的大批量数据(或nosql,或任何你喜欢的称呼)系统.过去8个月中,我们一直在一个测试产品上使用HBase,并且满意它的表现,但是,最近Cassandra的风头很高,因此,我们决定对它做个测试.我认为,从某些角度讲,Cassandra团队的推广做的很不错.你将发现,在Santa Monica,哪怕是非技术人员(诸如风险投资商、CEO以及产品经理)也会相互推荐使用Cassandra. Cas…

2011-03-31 17:27 · Java · 评论(1)

Slope one:简单高效的推荐算法

推荐系统最早在 亚马逊 的网站上应用,根据以往用户的购买行为,推荐出购买某种产品同时可能购买的其他产品,国内做的不错的 当当网 ,有时候买书,它总能给我推荐出我感兴趣的其他书来,也算是技术极大的促进了销售。 一般的协同过滤算法,首先是收集用户对事物(产品)的评分情况,一种直接对某本书,或者某个歌曲打分,另种是隐性的打分,比如商务系统中,购买了表示打2分,浏览了打1分,其他的0分。我比较看好隐性打分,因为直接打分需要用户的参与程度比较高,很多网站都在内容页中留一个打分的按钮,从1~5选一个,我可能喜欢这篇文章,可我哪里知道我喜欢的程度是几分啊,还要我去思考,而网站设计中一条很重要的原则是:Do…

2011-03-31 17:16 · Java · 评论(1)

Hadoop 状态分析系统Chukwa

http://hi.baidu.com/ops_bd/blog/item/5f39abde48a10f3f10df9b12.html Apache 的开源项目 hadoop, 作为一个分布式存储和计算系统,已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时,集群自身的相关信息如何收集和分析呢?针对这个问题, Apache 同样提出了相应的解决方案,那就是 chukwa。 概述 chukwa 的官方网站是这样描述自己的: chukwa 是一个开源的用于监控大型分布式系统的数据收集系统。这是构建在 hadoo…

2011-03-31 16:50 · Hadoop · 评论(0)

Hadoop安装, Hive 安装。

Hadoop安装指南 / Hive安装指南 Hadoop集群需要一个机器作为Master节点,其余的机器都是slave节点。 HIVE只需在Master节点中安装和配置即可。 配置Hadoop Hadoop的配置比较简单,下面详细讲一下安装与配置步骤。 以配置Hadoop 0.20.2版本为例。 (1) 从hadoop官网上下载 hadoop-0.20.2.tar.gz 文件,并解压产生hadoop-0.20.2目录,将该目录到/opt/hadoop目录下(如果你解压缩到了其它目录中,注意后面要相应的修改配置项)。 输入命令建立软连接$ ln -s hadoop-0.20.2 hadoop …

2011-03-30 17:48 · Hadoop · 评论(1)

Hive 的扩展特性

Hive 的扩展特性 文章分类: Java编程 Hive 是一个很开放的系统,很多内容都支持用户定制,包括: 文件格式:Text File,Sequence File 内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本:不管什么语言,利用 stdin/stdout 传输数据 用户自定义函数: Substr, Trim, 1 – 1 用户自定义聚合函数: Sum, Average…… n – 1 File Format TextFile SequenceFIle RCFFile Data type…

2011-03-30 15:54 · Hadoop · 评论(0)

HIVE中map,array和structs使用

1:怎样导入文本文件(格式是怎样的?),2:怎样查询数据,已经能否在join中使用?在子查询中使用?等等 知道怎么在hive中导入数组不? 例如:我想把 数组[1,2,3] 和 数组 ["a","b","c"] 导入到table1中 create table table2 ( a array<int> , b array<string>); 那么 我如何 导入呢?使得 select * from table1; j结果为: [1,2,3] ["a","b","c"] 同样 在 hive 中 对于 map 怎样 查询呢? 例如 create table table2 ( a MAP<STRIN…

2011-03-30 15:25 · Hadoop · 评论(0)

Hive 中UDF和UDAF简述

From: http://blog.csdn.net/dajuezhao/archive/2010/07/21/5753001.aspx 一、UDF 1、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括: a)文件格式:Text File,Sequence File b)内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text c)用户提供的 map/reduce 脚本:不管什么语言,利用 stdin/stdout 传输数据 d)用户自定义函数: Su…

2011-03-30 15:24 · Hadoop · 评论(0)

Hive 中 SerDe 概述

From: http://blog.csdn.net/dajuezhao/archive/2010/07/21/5753791.aspx 一、背景 1、当进程在进行远程通信时,彼此可以发送各种类型的数据,无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输,称为对象序列化;接收方则需要把字节序列恢复为对象,称为对象的反序列化。 2、Hive的反序列化是对key/value反序列化成hive table的每个列的值。 3、Hive可以方便的将数据加载到表中而不需要对数据进行转换,这样在处理海量数据时可以节省大量的时间。 二、技术细节 1、Ser…

2011-03-30 15:17 · Hadoop · 评论(0)

做事遵循一个好的习惯

Habit 1:积极主动 Habit 2:以终为始 Habit 3:重者先行 Habit 4:互惠互利 Habit 5:知彼知己 Habit 6:团结协作 Habit 7:坚持不懈

2011-03-29 13:25 · 其他 · 评论(0)