自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Thinkgamer博客

《推荐系统开发实战》作者,「搜索与推荐Wiki」公号负责人,CyanScikit科技创始人...

原创 MapReduce InputFormat——DBInputFormat

一、背景 为了方便MapReduce直接访问关系型数据库(Mysql,Oracle),Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过 DBInputFormat类把数据库表数据读入到HDFS,根据DBOutputFormat类把MapReduce产生...

2015-11-30 10:38:01

阅读数 2383

评论数 0

原创 MapReduce InputFormat之FileInputFormat

一:简单认识InputFormat类 InputFormat主要用于描述输入数据的格式,提供了以下两个功能: 1)、数据切分,按照某个策略将输入数据且分成若干个split,以便确定Map Task的个数即Mapper的个数,在MapReduce框架中,一个split就意味着需要一个Map T...

2015-11-30 09:19:00

阅读数 2044

评论数 0

原创 沈阳东网科技和福建卓智网络面试心得

2015年11月25日迎来了人生的第一次面试,虽然是在电话中但还是有点紧张 2015年11月27日第二面试,这一次所不同的是和面试官面对面展开讨论 经过这两次面试现在做出以下总结: 1:问题的展开 从头到尾面试官所展开的一切问题都是紧紧围绕着你的简历展开的,所以对于简历尽量不要弄虚作假,如果...

2015-11-29 18:46:42

阅读数 4752

评论数 0

原创 HDFS学习笔记

1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并...

2015-11-29 18:25:51

阅读数 1972

评论数 0

翻译 关系型数据库的理解

1.关系型数据库简单的可以理解为二维数据库,表的格式就如Excel,有行有列。常用的关系数据库有Oracle,SqlServer,Informix,MySql,SyBase等。(也即是我们平时看到的数据库,都是关系型数据库) 2.所谓关系型数据库,是指采用了关系模型来组织数据的数据库。关系模型...

2015-11-26 19:43:50

阅读数 3475

评论数 0

翻译 Yarn详解

问题导读: 1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ? 背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初M...

2015-11-26 00:33:15

阅读数 2185

评论数 0

翻译 HDFS Federation(HDFS 联邦)(Hadoop2.3)

最早接触Federation这个词还是第一家公司用的DB2联邦数据库。 第一代HadoopHDFS: 结构上由一个namenode和众多datanode组成。 功能上划分为namespace和block storage service 两部分。 所谓的HDFS Federati...

2015-11-26 00:23:10

阅读数 4675

评论数 0

原创 MapReduce编程实例之自定义排序

任务描述: 给出一组数据,自定义排序的样式,第一列降序,相同时第二列升序 example Data: 2013 1 2013 5 2014 5 2014 8 2015 9 2015 4 Code: package mrTest; import java.io.DataInput;...

2015-11-25 23:30:59

阅读数 2177

评论数 0

原创 MapReduce编程实例之自定义分区

任务描述: 一组数据,按照年份的不同将其分别存放在不同的文件里 example Data: 2013 1 2013 5 2014 5 2014 8 2015 9 2015 4 Code: package mrTest; import java.io.IOException; im...

2015-11-25 21:54:03

阅读数 3740

评论数 0

原创 MapReduce编程实践之自定义数据类型

一:任务描述 自定义数据类型完成手机流量的分析 二:example data 格式为:记录报告时间戳、手机号码、AP mac、AC mac、访问的网址、网址种类、上行数据包数、下行数据包数、上行总流量、下行总流量、HTTP Response的状态。 13631579850661372...

2015-11-24 18:51:50

阅读数 2823

评论数 0

原创 Mapeduce编程八大步骤

Mapreduce编程八大步 1.1:指定读取的文件位于哪里 FileInputFormat.setInputPaths() 指定如何对输入文件进行格式化,把输入文本每一行解析为键值对 job.setInputFormatClass()1.2:指定自定义的Map类 job.setMapperC...

2015-11-24 16:54:37

阅读数 2372

评论数 0

原创 MapReduce编程实例之数据去重

任务描述: 让原始数据中出现次数超过一次的数据在输出文件中只出现一次。 example data: 2015-3-1 a 2015-3-2 b 2015-3-3 c 2015-3-4 d 2015-3-5 e 2015-3-6 f 2015-3-7 g 2015-3-1 a 2015-3-2...

2015-11-24 16:42:57

阅读数 2191

评论数 0

原创 MapReduce编程实例之倒排索引

任务描述: 有一批电话清单,记录了用户A拨打给用户B的记录 做一个倒排索引,记录拨打给用户B所有的用户A、 example data: 13614004876 110 18940084808 10086 13342445911 10001 13614004876 120 18940084808...

2015-11-24 15:59:40

阅读数 2456

评论数 0

原创 00.Python manage.py shell和 Python的分析

环境:Python 2.7.6 django1.8.6 IDE:Pycharm 编写了一个模板,数据库连接的是MySQl数据库(具体配置参考http://blog.csdn.net/gamer_gyt/article/details/49976119) 可是pycharm中启动服务的时候报...

2015-11-22 11:00:22

阅读数 6306

评论数 0

翻译 深刻理解Python中的元类(metaclass)

类也是对象 在理解元类之前,你需要先掌握Python中的类。Python中类的概念借鉴于Smalltalk,这显得有些奇特。在大...

2015-11-15 15:16:33

阅读数 2801

评论数 0

原创 javac / java 命令详解

javac是用来编译.java文件的。命令行下直接输入javac可以看到大量提示信息,提示javac命令的用法,我只知道常用的。 javac -d destdir srcFile 其中:1、-d destdir是用来指定存放编译生成的.class文件的路径。(若此选项省略,那么默认在当前目录下...

2015-11-14 23:24:51

阅读数 1948

评论数 0

原创 hdfs之快照的学习

HDFS快照是文件系统的只读的实时的拷贝,可以是文件系统的一部分或者整个文件系统。快照的一些通用场景是数据备份,对用户错误的保护和灾难恢复。HDFS的快照实现是高效的: 快照的创建时瞬间完成的,排除查找inode的时间,需要花费O(1),即常数时间。 只有执行与快照相关的修改时才需要额外的...

2015-11-14 17:19:44

阅读数 2917

评论数 0

原创 Python 类属性的理解

一:类的属性包括 1:实例属性 2:类属性 3:私有属性 例子: (1):以双下划线开头标志的字符 classA: def__init__(self): self.__x=1 definfo(self): printself.__x a=A() a.info() ...

2015-11-13 17:09:09

阅读数 1799

评论数 0

提示
确定要删除当前文章?
取消 删除