先到者为君,后到者为臣!作为技术屌丝的你,肯定有过很多感慨,不要总是步人后尘,请加入我们的Hadoop先行者行列,让我们一起走在大数据时代的前列。

尖峰在线培训 Hadoop实战

先到者为君,后到者为臣!作为技术屌丝的你,肯定有过很多感慨,不要总是步人后尘,请加入我们的Hadoop先行者行列,让我们一起走在大数据时代的前列。

Hadoop实战

    Hadoop是一个开源的分布式系统基础架构,由Apache基金会开发,使得用户可以在不了解分布式底层细节的情况下,开发分布式应用程序,充分利用集群的威力实现高速运算和存储。Hadoop尤其适合大数据的分析与挖掘,最为常见的应用就是Web数据分析。因为从本质上讲,Hadoop提供了在大规模服务器集群中捕捉、组织、搜索、共享以及分析数据的模式,且可以支持多种数据源 (结构化、半结构化和非结构化),规模则能够从几十台服务器扩展到上千台服务器。

    

                             案例教学,项目驱动!


Hadoop初级实战班大纲

1)受训人员要求:了解Java和Linux基础知识和基本操作

2)课程安排:


 

内容

讲授时长

讲授方式

1

预备课程:与Hadoop相关LinuxJavaJVM知识补充

4h

网授+演示实验

2

HDFSMapReduce基础

2h

网授

3

伪分布式Hadoop环境的搭建

2h

网授+上机实验

4

MapReduce应用开发原理

2h

网授

5

MapReduce应用开发实验

3h

上机实验及指导

6

分布式Hadoop环境的构建

3h

演示实验

7

HDFS的基础配置参数详解和配置方法

2h

网授

8

HDFS的基础命令:dfsdfsadmin

2h

网授+演示实验

9

HDFS的特性:EditLogCheckpointRebalanceRack AwarenessReplication

2h

网授

10

HDFSTrouble Shooting简介

2h

网授

11

MapReduce的基本原理和架构:JobTracker和TaskTracker

4h

网授

12

MapReduce主要过程:Sort、Shuffling和Merge

2h

网授

13

MapReduceTrouble Shooting简介

2h

网授+演示实验

14

YARNMRv2选讲

2h

网授

15

Zookeeper基础

2h

网授

16

Hadoop HAQJMNFS

4h

网授

17

Hadoop HA的配置演示(QJM方案)

2h

演示实验

18

Hadoop优化基础

2h

网授

19

HIVEHQL基础

4h

网授+

注:以上授课内容和时长可能视学员自身的基础和能力有一定的浮动。



Hadoop中级实战班大纲



内容 讲授时长 讲授方式
1 初识Hadoop及其分布式文件系统
——你知道Hadoop究竟是什么吗?你知道Hadoop可以帮你做什么吗?你了解Hadoop的分布式文件系统(HDFS)及其特点吗?你知道HDFS上面可以如何承载各种你感兴趣的应用吗?在这2个小时的课程里,Dasight博士将为你一一解析
2 网授
2 搭建伪分布式的Hadoop环境
——手上没有一堆服务器,如何搭建我们自己的Hadoop集群?现在,Dasight博士将手把手教你如何利用一台Linux机器搭建你的第一个Hadoop环境,告诉你如何从Hadoop的日志中发现它的故障、异常等各种点点滴滴,并通过网络远程指导你的Hadoop环境搭建过程,立马领你到大数据时代的门口
3 网授(2h+上机实验及远程指导(1h
3 开发你的第一个MapReduce程序
——什么是函式编程与MapReduceMapReduce程序到底长什么样?如何在Eclipse上搭建MapReduce开发环境?如何运行你的MapReduce程序?如何用ANT自动话你MapReduce程序的部署?让Dasight来帮你吧!
3 网授(2h)+上机实验(1h)
4 在企业内网中快速搭建真正分布式的Hadoop环境
——如何在企业内网中快速搭建一个真正的分布式的Hadoop环境?建立并同步Linux源,编写Python脚本,配置HDFS环境……纷繁步骤,就让Dasight为你一一呈现
2 演示实验
5 深度解析HDFS系统配置
——HDFS的配置参数众多,不同版本之间差异显著,而且还有许多Linux上的系统参数与HDFS关系密切。哪些是常用的必配项?在实践中,它们又是如何设置的?
2.5 网授+演示
6 玩转HDFS
——
如何管理和维护HDFS?如何查找HDFS的基本命令?如何获取帮助?今天,我们将详解HDFS中的两个最常用命令集——dfsdfsadmin,让您从此可以玩转HDFS
2 网授+演示实验
7 深度解析HDFS的五大关键特性
——EditLogCheckpointRebalanceRack AwarenessReplicationHDFS中的五大关键特性,在日常维优中,该如何配置和把握这五大重要特性?——且听Dasight的为您深入分解
2 网授+演示
8 深度解析HDFS的读写过程和性能优化
——你知道HDFS的数据读写过程吗?你了解HDFS中的租约机制吗?你知道如何从操作系统、磁盘、文件系统和网络等几个层面来优化HDFS性能吗?且听Dasight为您讲解
3.5 网授
9 Trouble Shooting HDFS
——HDFS经常会出现哪些问题?Namenode会出现哪些问题?该如何处理?出现元数据损坏时该如何恢复?Datanode经常会出现哪些问题?又该如何处理?
2 网授+演示实验
10 深度刨析JobTrackerTaskTracker
——
MRv1中,JobTrackerTaskTracker承担整个平台的资源分配和任务调度的重要功能。你知道它们是怎么工作的吗?它对我们的平台维优和程序优化有哪些重要的作用吗?今天,我们将和您一起深度刨析JobTrackerTaskTracker,为您呈现出一个活生生的MapReduce
2 网授
11 MapReduce经典案例刨析与开发思想
——MapReduce程序该如何编写?今天,Dasight博士将从函式编程的思想出发,通过WordcountTop-kJoin三个经典MR问题,让您深入讲解MapReduce的程序设计思想
3 网授+作业讲解
12 定制你的MapReduce
——
定制InputformatOutputFormatPartitioner
2 网授+作业讲解
13 MapReduce程序飞速运行(一)
——MapReduce这两个简简单单的东西中,实则蕴含了无限的奥秘。了解这些奥秘,将帮助您开发出飞速运行的MapReduce程序。今天,Dasight带您深度解析SplitSortShufflingMerge四大MapReducce程序执行过程中所经历的四大关键过程,迅速提升您MapReduce的运行性能
2 网授
14 MapReduce程序飞速运行(二)
——在了解了MapReducce的四大关键过程之后,我们进一步通过实例深入讲解MapReduce程序的开发技巧,同时奉上MapReduce鲜为人知的一个神秘过程——Combiner,告诉你如何利用它来进一步提供MapReduce的执行性能
3 网授+演示实验+作业讲解
15 如何成为MapReduce开发高手
——你想成为MapReduce开发高手吗?这儿将为您奉上一系列MapReduce程序开发的高级技巧,内容包括如何Python等第三方语言快速编写MapReduce程序、自动串接多个MapperReducer、容忍一定程度的失败任务和错误记录等
2 网授+演示实验
16 进一步玩转MapReduce的平台级优化
——你知道MapReduce程序的性能瓶颈主要在哪儿吗?你知道MapReduce程序中各种吗?今天,Dasight将带你从JVMHadoop平台的角度进一步探讨MapReduce的优化方法
2 网授
17 追赶Hadoop的发展浪潮
——YARNMRv2选讲
2 网授+演示实验
18 深入浅出Zookeeper
——
你听说过Google的分布式协同机制吗?你知道它在Hadoop等大数据平台中的作用和使用方法吗?今天我们将深入讲解Hadoop分布式协同组件——Zookeeper的原理、部署方法和应用技巧
2 网授+演示实验
19 Hadoop HA理论与实践
——
你知道有几种Hadoop的机制HA吗?你知道有哪些HA存在数据丢失的风险吗?接下来,Dasight博士将为您讲解Hadoop HA,详细介绍目前Hadoop官方支持的两种HA方式——QJMNFS,以及QJM方案配置演示
3 网授+演示实验
20 HIVE基础与实践
——在本课程的最后一节中,我们将介绍如何用
HIVE来构建Hadoop数据仓库的方式,包括HIVE的架构和实现方式,HIVE Metastore的类型和实现方式,HQL语言基础,以及如何用HIVE做大数据分析等
3 网授+演示实验
课时总计 48


Hadoop高级实战班大纲

  。。。整理中。。。


2014-05-02 10:31:42
Copyright © JianFengEdu.com 2013. All Rights Reserved . 尖峰在线培训 版权所有 . 浙ICP备14005612号-1  
  • QQ咨询

  • 点击这里给我发消息 陈老师
  • 点击这里给我发消息 郭老师
  • DBA基础学习群

    尖峰OracleDBA基础学习群
  • 电话咨询

  • 13735456161