HDFS读写流程、文件权限、安全模式
1.HDFS读写流程
(1)HDFS读取文件
- 首先通过分布式文件系统向namenode取得所需0文件分块及其所在位置
- 再通过FSDataInputStream向指定datanode取得文件分块,然后合并文件,最后关闭数据流。
(2)HDFS写入文件
- 首先通过DistributeFileSystem向namenode发送写入文件请求。
- namenode进行分块并分配相应datanode存储节点给客户端,客户端根据namenode返回的结果到相应节点进行存储。
2.HDFS文件权限
- 与 Linux文件权限类似
r:read,w:write,x:execute,权限 x 对于文件忽略表示是否允许访问其内容 - 如果 Linux系统用户zhangsan使用 hadoop命令创建一个文件,那么这个文件在 HDFS 中 owner 就是 zhangsan。
- HDFS的权限目的:阻止好人错错事,而不是阻止止坏人做坏事。 HDFS相信,你告诉我你是谁,我就认为你是谁。