Changeset 31010


Ignore:
Timestamp:
2016-10-31T15:14:07+13:00 (5 years ago)
Author:
davidb
Message:

Tidy up on generating Spark App name

File:
1 edited

Legend:

Unmodified
Added
Removed
  • other-projects/hathitrust/solr-extracted-features/trunk/src/main/java/org/hathitrust/extractedfeatures/ProcessForSolrIngest.java

    r31008 r31010  
    4242    }
    4343
     44    protected String generateSparkAppName(String exec_mode)
     45    {
     46        String spark_app_name = "[" + exec_mode + "] Extract Features: Process for Solr Ingest";
     47        spark_app_name += " [" + _json_list_filename + "]";
     48
     49        if (_solr_url != null) {
     50            spark_app_name += " solr_url=" + _solr_url;
     51        }
     52       
     53        if (_output_dir != null) {
     54            spark_app_name += " output_dir=" + _output_dir;
     55        }
     56       
     57        return spark_app_name;
     58    }
     59   
    4460    public void execPerVolume()
    4561    {   
    46         String spark_app_name = "[Per Volume] Extract Features: Process for Solr Ingest";
    47         spark_app_name += " [" + _json_list_filename + "]";
    48 
    49         if (_solr_url != null) {
    50             spark_app_name += "solr_url=" + _solr_url;
    51         }
    52        
    53         if (_output_dir != null) {
    54             spark_app_name += "output_dir=" + _output_dir;
    55         }
    56        
     62        String spark_app_name = generateSparkAppName("Per Volume");     
    5763       
    5864        SparkConf conf = new SparkConf().setAppName(spark_app_name);
     
    96102    public void execPerPage()
    97103    {   
    98         String spark_app_name = "[Per Page] Extract Features: Process for Solr Ingest";
    99         spark_app_name += " [" + _json_list_filename + "]";
    100 
    101         if (_solr_url != null) {
    102             spark_app_name += "solr_url=" + _solr_url;
    103         }
    104        
    105         if (_output_dir != null) {
    106             spark_app_name += "output_dir=" + _output_dir;
    107         }
     104        String spark_app_name = generateSparkAppName("Per Page");       
    108105       
    109106        SparkConf conf = new SparkConf().setAppName(spark_app_name);
Note: See TracChangeset for help on using the changeset viewer.