Show
Ignore:
Timestamp:
31.10.2016 15:14:07 (3 years ago)
Author:
davidb
Message:

Tidy up on generating Spark App name

Files:
1 modified

Legend:

Unmodified
Added
Removed
  • other-projects/hathitrust/solr-extracted-features/trunk/src/main/java/org/hathitrust/extractedfeatures/ProcessForSolrIngest.java

    r31008 r31010  
    4242    } 
    4343 
     44    protected String generateSparkAppName(String exec_mode) 
     45    { 
     46        String spark_app_name = "[" + exec_mode + "] Extract Features: Process for Solr Ingest"; 
     47        spark_app_name += " [" + _json_list_filename + "]"; 
     48 
     49        if (_solr_url != null) {  
     50            spark_app_name += " solr_url=" + _solr_url; 
     51        } 
     52         
     53        if (_output_dir != null) {  
     54            spark_app_name += " output_dir=" + _output_dir; 
     55        } 
     56         
     57        return spark_app_name; 
     58    } 
     59     
    4460    public void execPerVolume() 
    4561    {    
    46         String spark_app_name = "[Per Volume] Extract Features: Process for Solr Ingest"; 
    47         spark_app_name += " [" + _json_list_filename + "]"; 
    48  
    49         if (_solr_url != null) {  
    50             spark_app_name += "solr_url=" + _solr_url; 
    51         } 
    52          
    53         if (_output_dir != null) {  
    54             spark_app_name += "output_dir=" + _output_dir; 
    55         } 
    56          
     62        String spark_app_name = generateSparkAppName("Per Volume");      
    5763         
    5864        SparkConf conf = new SparkConf().setAppName(spark_app_name); 
     
    96102    public void execPerPage() 
    97103    {    
    98         String spark_app_name = "[Per Page] Extract Features: Process for Solr Ingest"; 
    99         spark_app_name += " [" + _json_list_filename + "]"; 
    100  
    101         if (_solr_url != null) {  
    102             spark_app_name += "solr_url=" + _solr_url; 
    103         } 
    104          
    105         if (_output_dir != null) {  
    106             spark_app_name += "output_dir=" + _output_dir; 
    107         } 
     104        String spark_app_name = generateSparkAppName("Per Page");        
    108105         
    109106        SparkConf conf = new SparkConf().setAppName(spark_app_name);