HDFS读写流程、文件权限、安全模式

作者 zhan-bin 日期 2018-07-17
HDFS读写流程、文件权限、安全模式

HDFS读写流程、文件权限、安全模式

1.HDFS读写流程

(1)HDFS读取文件

  • 首先通过分布式文件系统向namenode取得所需0文件分块及其所在位置
  • 再通过FSDataInputStream向指定datanode取得文件分块,然后合并文件,最后关闭数据流。
    1

(2)HDFS写入文件

  • 首先通过DistributeFileSystem向namenode发送写入文件请求。
  • namenode进行分块并分配相应datanode存储节点给客户端,客户端根据namenode返回的结果到相应节点进行存储。
    2

2.HDFS文件权限

  • 与 Linux文件权限类似
    r:read,w:write,x:execute,权限 x 对于文件忽略表示是否允许访问其内容
  • 如果 Linux系统用户zhangsan使用 hadoop命令创建一个文件,那么这个文件在 HDFS 中 owner 就是 zhangsan。
  • HDFS的权限目的:阻止好人错错事,而不是阻止止坏人做坏事。 HDFS相信,你告诉我你是谁,我就认为你是谁。

3.HDFS安全模式

3

4.HDFS namenode和secondarynamenode文件合并过程

4