最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 教育 - 知识百科 - 正文

hdfs的读写流程

来源:动视网 责编:小OO 时间:2022-03-31 14:45:15
文档

hdfs的读写流程

客户端向NameNode发出写文件请求。检查是否已存在文件、检查权限。若通过检查,直接先将操作写入EditLog,并返回输出流对象。 每个DataNode写完一个块后,会返回确认信息。 4、写完数据,关闭输输出流。发送完成信号给NameNode。
推荐度:
导读客户端向NameNode发出写文件请求。检查是否已存在文件、检查权限。若通过检查,直接先将操作写入EditLog,并返回输出流对象。 每个DataNode写完一个块后,会返回确认信息。 4、写完数据,关闭输输出流。发送完成信号给NameNode。


1、客户端向NameNode发出写文件请求。检查是否已存在文件、检查权限。若通过检查,直接先将操作写入EditLog,并返回输出流对象。

2、client端按128MB的块切分文件。client将NameNode返回的分配的可写的DataNode列表和Data数据一同发送给最近的第一个DataNode节点,此后client端和NameNode分配的多个DataNode构成pipeline管道,client端向输出流对象中写数据。client每向第一个DataNode写入一个packet,这个packet便会直接在pipeline里传给第二个、第三个…DataNode。

3、每个DataNode写完一个块后,会返回确认信息。

4、写完数据,关闭输输出流。发送完成信号给NameNode。

文档

hdfs的读写流程

客户端向NameNode发出写文件请求。检查是否已存在文件、检查权限。若通过检查,直接先将操作写入EditLog,并返回输出流对象。 每个DataNode写完一个块后,会返回确认信息。 4、写完数据,关闭输输出流。发送完成信号给NameNode。
推荐度:
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top