有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

java如何在hadoop的reduce中将genericWritable恢复为用户定义的可写?

我想使用GenericWritable在map reduce流中实现同一个键的不同值类型。例如,我为不同的值类型创建了两个用户定义的类,下面是我的一个用户定义的值类:

public user_def_Value1 extends writableComparable<user_def_Value1> {
       private var1;
       private var2;
       ......
       public void setAsCopy(user_def_Value1 other) {
              var1.set(other.var1);
              var2.set(other.var2);
       }
       ......
}

然后,我使用GenericWritable将两个用户定义的值类作为映射器的输出值。这是我的GenericWritable实现

public class GenericValue extends GenericWritable  {

    private static Class<? extends Writable>[] CLASSES = null;

    static {
        CLASSES = (Class<? extends Writable>[]) new Class[] {
            user_def_Value1.class,
            user_def_Value2.class
        };
    }

    //this empty initialize is required by hadoop
    public GraphCleanGenericValue() {
    }

    public GraphCleanGenericValue(Writable instance) {
        set(instance);
    }

    @Override
    protected Class<? extends Writable>[] getTypes() {
        return CLASSES;
    }

    @Override
    public String toString() {
        return get().toString();
    }
}

当我使用值时,我的问题是reducer方法。next()要获取泛型值,请说明如何将此泛型值转换为用户定义的类实例。下面是我关于reducer()的实现,但我不确定它是否是安全的向下转换

public void reduce(key, Iterator<GenericValue> values,
                OutputCollector<outputKey, outputValue> output, Reporter reporter) throws IOException {
            user_def_Value1 temp = new user_def_Value1();
            temp.setAsCopy((user_def_Value1) values.next().get());
            ......
        }

共 (2) 个答案

  1. # 1 楼答案

    你可以使用instanceof。 例如:

    Writable value = values.next().get();
    if (value instanceof SomeClassName) {
        // do something;
    } 
    else if (value instanceof AnotherClassName) {
        // do something;
    }
    
  2. # 2 楼答案

    这个问题并不是关于Hadoop的。它是关于在Java中执行变量类型的。大约有8 ways,它们都有不同程度的吸吮