为Hadoop集群或自己的分布式文件系统构建自定义块放置策略

2024-06-15 07:21:24 发布

您现在位置:Python中文网/ 问答频道 /正文

我对分布式计算知之甚少,只是它的一些肤浅的理论方面。我想为HDFS构建一个自定义的块放置策略。我最近看到一些研究论文,他们在相关数据块的基础上构建了自己的块放置策略,因此,所有相关的和经常使用的数据块最终都位于相同的节点上,合作hadoop)。但是我无法得到关于他们是如何实现它的详细信息。我在过去的几个月里一直在寻找这个,但没有得到一个明确的方向。我知道这是一个非常艰巨的工作能够这样做。但在这一点上,我不知道从哪里开始

我能想到的最接近的方法是将一个大文件单独分割成更小的块,然后手动将它们发送到多个节点


Tags: 文件数据方法hadoop节点详细信息hdfs手动