Show
Ignore:
Timestamp:
10.11.2016 16:09:55 (3 years ago)
Author:
davidb
Message:

Shift to newIstance for FileSystem? due to StackOverflow? page describing how the class returned is shared. memory_usage() method added. Removal of some commented out code

Files:
1 modified

Legend:

Unmodified
Added
Removed
  • other-projects/hathitrust/wcsa/extracted-features-solr/trunk/solr-ingest/src/main/java/org/hathitrust/extractedfeatures/ClusterFileIO.java

    r30996 r31088  
    2424public class ClusterFileIO { 
    2525 
    26     private static FileSystem __fs = null; 
    27      
    28     /* 
    29     public static void initOLD(JavaSparkContext java_spark_context)  
     26 
     27    public static void memory_usage(String prefix) 
    3028    { 
    31         try { 
    32             Configuration hadoop_conf = java_spark_context.hadoopConfiguration(); 
    33             _fs = FileSystem.get(hadoop_conf); 
    34         } 
    35         catch (IOException e) { 
    36             e.printStackTrace(); 
    37         } 
     29        Runtime runtime = Runtime.getRuntime(); 
     30         
     31        java.text.NumberFormat format = java.text.NumberFormat.getInstance(); 
     32         
     33        StringBuilder sb = new StringBuilder(); 
     34        long maxMemory = runtime.maxMemory(); 
     35        long allocatedMemory = runtime.totalMemory(); 
     36        long freeMemory = runtime.freeMemory(); 
     37         
     38        sb.append(prefix+" free memory: " + format.format(freeMemory / 1024) + "\n"); 
     39        sb.append(prefix+" allocated memory: " + format.format(allocatedMemory / 1024) + "\n"); 
     40        sb.append(prefix+" max memory: " + format.format(maxMemory / 1024) + "\n"); 
     41        sb.append(prefix+" total free memory: " + format.format((freeMemory + (maxMemory - allocatedMemory)) / 1024) + "\n"); 
     42 
     43        System.out.print(sb.toString()); 
    3844    } 
    39     */ 
    40      
    41     /* 
    42     public static void init(String input_dir) 
    43     { 
    44         try { 
    45             Configuration conf = new Configuration(); 
    46             URI uri = new URI(input_dir); 
    47             _fs = FileSystem.get(uri, conf); 
    48         }  
    49         catch (URISyntaxException e) { 
    50             e.printStackTrace();     
    51         }  
    52         catch (IOException e) { 
    53             e.printStackTrace(); 
    54         } 
    55          
    56     } 
    57     */ 
     45 
    5846     
    5947    protected static FileSystem getFileSystemInstance(String input_dir) 
    6048    { 
    61         if (__fs == null) { 
     49        FileSystem fs = null; 
    6250 
    63             try { 
    64                 Configuration conf = new Configuration(); 
    65                 URI uri = new URI(input_dir); 
    66                 __fs = FileSystem.get(uri, conf); 
    67             }  
    68             catch (URISyntaxException e) { 
    69                 e.printStackTrace();     
    70             }  
    71             catch (IOException e) { 
    72                 e.printStackTrace(); 
    73             } 
    74         } 
    75         return __fs; 
     51        try { 
     52        Configuration conf = new Configuration(); 
     53        URI uri = new URI(input_dir); 
     54        fs = FileSystem.newInstance(uri,conf); 
     55        }  
     56        catch (URISyntaxException e) { 
     57        e.printStackTrace();     
     58        }  
     59        catch (IOException e) { 
     60        e.printStackTrace(); 
     61        } 
     62 
     63        return fs; 
    7664    } 
    7765