Java学习者论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

手机号码,快捷登录

恭喜Java学习者论坛(https://www.javaxxz.com)已经为数万Java学习者服务超过8年了!积累会员资料超过10000G+
成为本站VIP会员,下载本站10000G+会员资源,购买链接:点击进入购买VIP会员
JAVA高级面试进阶视频教程Java架构师系统进阶VIP课程

分布式高可用全栈开发微服务教程

Go语言视频零基础入门到精通

Java架构师3期(课件+源码)

Java开发全终端实战租房项目视频教程

SpringBoot2.X入门到高级使用教程

大数据培训第六期全套视频教程

深度学习(CNN RNN GAN)算法原理

Java亿级流量电商系统视频教程

互联网架构师视频教程

年薪50万Spark2.0从入门到精通

年薪50万!人工智能学习路线教程

年薪50万!大数据从入门到精通学习路线年薪50万!机器学习入门到精通视频教程
仿小米商城类app和小程序视频教程深度学习数据分析基础到实战最新黑马javaEE2.1就业课程从 0到JVM实战高手教程 MySQL入门到精通教程
查看: 3036|回复: 4

【C46】《HADOOP技术内幕》PDF 下载

  [复制链接]
  • TA的每日心情
    开心
    2021-12-13 21:45
  • 签到天数: 15 天

    [LV.4]偶尔看看III

    发表于 2016-11-9 23:57:05 | 显示全部楼层 |阅读模式

    资源名称:

    【C46】《HADOOP技术内幕》PDF 下载

    百度地址:

    网盘链接:请先登录后查看此内容

    失效声明:

    如果资料失效,VIP和荣耀会员或者使用金币兑换的普通会员,可以直接联系资料客服QQ索取:QQ。在线时间为:8:00-23:30。请下载后24小时内删除,若侵权请联系客服删除该资料。

    如何获取:

    1,本资料VIP会员下载地址直接可见,购买VIP:点击购买会员>>,开通后可下载全站所有资料。
    2,非会员使用5000Java金币兑换,金币充值:点击进入充值页面

    资源描述及截图:

    【C46】《hadoop技术内幕》PDF 下载
    内容简介
    “hadoop技术内幕”共两册,分别从源代码的角度对“common+HDFS”和“mapreduce的架构设计和实现原理”进行了极为详细的分析。本书由hadoop领域资深的实践者亲自执笔,首先介绍了mapreduce的设计理念和编程模型,然后从源代码的角度深入分析了RPC框架、客户端、jobtracker、tasktracker和task等mapreduce运行时环境的架构设计与实现原理,*后从实际应用的角度深入讲解了hadoop的性能优化、安全机制、多用户作业调度器和下一代mapreduce框架等高级主题和内容。《hadoop技术内幕(深入解析mapreduce架构设计与实现原理)》适合hadoop的二次开发人员、应用开发工程师、运维工程师阅读。
    董西成所著的《hadoop技术内幕(深入解析mapreduce架构设计与实现原理)》共12章,分4个部分(不包括附录):**部分(第1~2章),介绍了hadoop源代码的组织结构、获取、编译、调试、阅读环境搭建,以及mapreduce的设计理念和基本架构;第二部分(第3章),着重讲解了mapreduce的编程接口,主要包括旧api和新api两套编程接口,以及hadoop工作流;第三部分(第4~8章)主要分析了mapreduce的运行时环境,包括rpc框架、客户端、jobtracker、tasktracker和task等的内部实现细节和机制剖析;第四部分(第9~12章)深入讲解了hadoop的性能优化、多用户作业调度器、安全机制和下一代mapreduce框架等高级主题。
    目录
    前言
    **部分 基础篇
    第1章 阅读源代码前的准备
    1.1 准备源代码学习环境
    1.1.1 基础软件下载
    1.1.2 如何准备Windows环境
    1.1.3 如何准备Linux环境
    1.2 获取Hadoop源代码
    1.3 搭建Hadoop源代码阅读环境
    1.3.1 创建Hadoop工程
    1.3.2 Hadoop源代码阅读技巧
    1.4 Hadoop源代码组织结构
    1.5 Hadoop初体验
    1.5.1 启动Hadoop
    1.5.2 Hadoop Shell介绍
    1.5.3 Hadoop Eclipse插件介绍
    1.6 编译及调试Hadoop源代码
    1.6.1 编译Hadoop源代码
    1.6.2 调试Hadoop源代码
    1.7 小结
    第2章 MapReduce设计理念与基本架构
    2.1 Hadoop发展史
    2.1.1 Hadoop产生背景
    2.1.2 Apache Hadoop新版本的特性
    2.1.3 Hadoop版本变迁
    2.2 Hadoop MapReduce设计目标
    2.3 MapReduce编程模型概述
    2.3.1 MapReduce编程模型简介
    2.3.2 MapReduce编程实例
    2.4 Hadoop基本架构
    2.4.1 HDFS架构
    2.4.2 Hadoop MapReduce架构
    2.5 Hadoop MapReduce作业的生命周期
    2.6 小结
    第二部分 MapReduce编程模型篇
    第3章 MapReduce编程模型
    3.1 MapReduce编程模型概述
    3.1.1 MapReduce编程接口体系结构
    3.1.2 新旧MapReduce API比较
    3.2 MapReduce API基本概念
    3.2.1 序列化
    3.2.2 Reporter参数
    3.2.3 回调机制
    3.3 java API解析
    3.3.1 作业配置与提交
    3.3.2 InputFormat接口的设计与实现
    3.3.3 OutputFormat接口的设计与实现
    3.3.4 Mapper与Reducer解析
    3.3.5 Partitioner接口的设计与实现
    3.4 非Java API解析
    3.4.1 Hadoop Streaming的实现原理
    3.4.2 Hadoop Pipes的实现原理
    3.5 Hadoop工作流
    3.5.1 JobControl的实现原理
    3.5.2 ChainMapper/ChainReducer的实现原理
    3.5.3 Hadoop工作流引擎
    3.6 小结
    第三部分 MapReduce核心设计篇
    第4章 Hadoop RPC框架解析
    4.1 Hadoop RPC框架概述
    4.2 Java基础知识
    4.2.1 Java反射机制与动态代理
    4.2.2 Java网络编程
    4.2.3 Java NIO
    4.3 Hadoop RPC基本框架分析
    4.3.1 RPC基本概念
    4.3.2 Hadoop RPC基本框架
    4.3.3 集成其他开源RPC框架
    4.4 MapReduce通信协议分析
    4.4.1 MapReduce 通信协议概述
    4.4.2 JobSubmissionProtocol通信协议
    4.4.3 InterTrackerProtocol通信协议
    4.4.4 TaskUmbilicalProtocol通信协议
    4.4.5 其他通信协议
    4.5 小结
    第5章 作业提交与初始化过程分析
    5.1 作业提交与初始化概述
    5.2 作业提交过程详解
    5.2.1 执行Shell命令
    5.2.2 作业文件上传
    5.2.3 产生InputSplit文件
    5.2.4 作业提交到JobTracker
    5.3 作业初始化过程详解
    5.4 Hadoop DistributedCache原理分析
    5.4.1 使用方法介绍
    5.4.2 工作原理分析
    5.5 小结
    第6章 JobTracker内部实现剖析
    6.1 JobTracker概述
    6.2 JobTracker启动过程分析
    6.2.1 JobTracker启动过程概述
    6.2.2 重要对象初始化
    6.2.3 各种线程功能
    6.2.4 作业恢复
    6.3 心跳接收与应答
    6.3.1 更新状态
    6.3.2 下达命令
    6.4 Job和Task运行时信息维护
    6.4.1 作业描述模型
    6.4.2 JobInProgress
    6.4.3 TaskInProgress
    6.4.4 作业和任务状态转换图
    6.5 容错机制
    6.5.1 JobTracker容错
    6.5.2 TaskTracker容错
    6.5.3 Job/Task容错
    6.5.4 Record容错
    6.5.5 磁盘容错
    6.6 任务推测执行原理
    6.6.1 计算模型假设
    6.6.2 1.0.0版本的算法
    6.6.3 0.21.0版本的算法
    6.6.4 2.0版本的算法
    6.7 Hadoop资源管理
    6.7.1 任务调度框架分析
    6.7.2 任务选择策略分析
    6.7.3 FIFO调度器分析
    6.7.4 Hadoop资源管理优化
    6.8 小结
    第7章 TaskTracker内部实现剖析
    7.1 TaskTracker概述
    7.2 TaskTracker启动过程分析
    7.2.1 重要变量初始化
    7.2.2 重要对象初始化
    7.2.3 连接JobTracker
    7.3 心跳机制
    7.3.1 单次心跳发送
    7.3.2 状态发送
    7.3.3 命令执行
    7.4 TaskTracker行为分析
    7.4.1 启动新任务
    7.4.2 提交任务
    7.4.3 杀死任务
    7.4.4 杀死作业
    7.4.5 重新初始化
    7.5 作业目录管理
    7.6 启动新任务
    7.6.1 任务启动过程分析
    7.6.2 资源隔离机制
    7.7 小结
    第8章 Task运行过程分析
    8.1 Task运行过程概述
    8.2 基本数据结构和算法
    8.2.1 IFile存储格式
    8.2.2 排序
    8.2.3 Reporter
    8.3 Map Task内部实现
    8.3.1 Map Task整体流程
    8.3.2 Collect过程分析
    8.3.3 Spill过程分析
    8.3.4 Combine过程分析
    8.4 Reduce Task内部实现
    8.4.1 Reduce Task整体流程
    8.4.2 Shuffle和Merge阶段分析
    8.4.3 Sort和Reduce阶段分析
    8.5 Map/Reduce Task优化
    8.5.1 参数调优
    8.5.2 系统优化
    8.6 小结
    第四部分 MapReduce高级篇
    第9章 Hadoop性能调优
    9.1 概述
    9.2 从管理员角度进行调优
    9.2.1 硬件选择
    9.2.2 操作系统参数调优
    9.2.3 JVM参数调优
    9.2.4 Hadoop参数调优
    9.3 从用户角度进行调优
    9.3.1 应用程序编写规范
    9.3.2 作业级别参数调优
    ......

      

    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    3 小时前
  • 签到天数: 1049 天

    [LV.10]以坛为家III

    发表于 2017-4-9 11:43:13 | 显示全部楼层
    多谢楼主分享
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    发表于 2018-3-24 12:53:29 | 显示全部楼层
    学习一下!十分感谢
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    发表于 2018-3-24 13:05:51 | 显示全部楼层
    LZ资料很不错
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    发表于 2018-3-24 13:09:02 | 显示全部楼层
    学习了,这就去试试
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2022-9-13 13:48
  • 签到天数: 15 天

    [LV.4]偶尔看看III

    发表于 2018-3-24 19:50:43 | 显示全部楼层
    谢谢楼主的辛苦分享
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|手机版|Java学习者论坛 ( 声明:本站资料整理自互联网,用于Java学习者交流学习使用,对资料版权不负任何法律责任,若有侵权请及时联系客服屏蔽删除 )

    GMT+8, 2024-3-19 13:24 , Processed in 0.337311 second(s), 47 queries .

    Powered by Discuz! X3.4

    © 2001-2017 Comsenz Inc.

    快速回复 返回顶部 返回列表