source: collections/documented-examples/trunk/gsarch-e/etc/collect.cfg@ 19285

creator     [email protected]
maintainer  [email protected]
public      true

buildtype   mg

indexes     document:text document:From document:Subject
defaultindex    document:text

plugin      GreenstoneXMLPlugin
# process_exp tells EmailPlugin which files to process - in this case all files
# starting with 'greenstone'. This is used as the email files in this 
# collection don't have a standard mbx/email extension.
# OIDtype message_id tells the plugin to use the message identifier as the 
# Greenstone document identifier - this way we can use the InReplyTo metadata
# to link to the original email.
plugin      EmailPlugin -process_exp greenstone.* -OIDtype message_id
plugin      MetadataXMLPlugin
plugin      ArchivesInfPlugin
plugin      DirectoryPlugin
groupsize      200

# note that [ and ] get turned into &#9x; before we remove the prefix!
# mingroup 2 so that bookshelves are only generated when there is more than
# one item with a common value.
# removeprefix removes re: fwd: [greenstone-users] [greenstone-devel] from
# the subject line before classifying, so that messages and their replies end
# up in the same folder.
classify    AZCompactList -metadata Subject -mingroup 2 -removeprefix (\\s*(?i:re:|fw(d)?:|\[greenstone-(users|devel)\])\\s*)*
classify    AZCompactList -metadata FromName -mingroup 2 -buttonname From
classify    DateList -nogroup  -bymonth 

format DocumentHeading ""
format DocumentButtons ""
format DocumentArrowsTop false
format DocumentArrowsBottom false
format DocumentGoTo false

# removed from format strings to prevent listing email addresses - John:
# &lt;<a href=\"mailto:[FromAddr]\">[FromAddr]</a>&gt;

# for Subjects
format CL1VList "
<td valign=top>[link][icon][/link]</td>
<td>{If}{[numleafdocs], <b>[Title]</b>,<b>[link][Subject][/link]</b><br>
_From_: [FromName] &nbsp;&nbsp;(<a href=\"_httpquery_&q=[cgisafe:FromName]&h=dfr\">_SearchBySender_</a>) <br>
_Date_: [DateText]}</td>
"

# for From
format CL2VList "
<td valign=top>[link][icon][/link]</td>
<td>{If}{[numleafdocs],
<strong>_From_:</strong> [Title] ([numleafdocs]),
<strong>_From_: [FromName]</strong> &nbsp;&nbsp;(<a href=\"_httpquery_&q=[cgisafe:FromName]&h=dfr\">_SearchBySender_</a>) <br>
<strong>_Subject_:</strong> [link][Subject][/link]<br>
<strong>_Date_:</strong> [DateText]
}</td>
"

# for Dates
format CL3DateList "
<td valign=top>[link][icon][/link]</td>
<td><b>[link][Subject][/link]</b><br>
_From_: [FromName] &nbsp;&nbsp;(<a href=\"_httpquery_&q=[cgisafe:FromName]&h=dfr\">_SearchBySender_</a>)<br>
_Date_: [DateText]
</td>
"

format SearchVList "
<td valign=top>[link][icon][/link]</td>
<td><b>[link][Subject][/link]</b><br>
_From_: [FromName] &nbsp;&nbsp;(<a href=\"_httpquery_&q=[cgisafe:FromName]&h=dfr\">_SearchBySender_</a>)<br>
_Date_: [DateText]
</td>
"

format DocumentText "<center> <h2>[Subject]</h2>
<p>
<table width=\"90%\">
<tr bgcolor=\"#DDDDEE\">
<td align=\"right\">_From_</td>
<td><b><a href=\"_httpquery_&q=[cgisafe:FromName]&h=dfr\">[FromName]</a></b>
</td>
</tr>
<tr bgcolor=\"#DDDDEE\">
<td align=\"right\">_Date_</td><td><b>[DateText]</b></td>
</tr>
<tr bgcolor=\"#DDDDEE\">
<td align=\"right\">_Subject_</td>
<td><b>[Subject]</b></td></tr>
_If_([InReplyTo],<tr bgcolor=\"#DDDDEE\"><td align=\"right\">In-Reply-To</td><td>
<a href=\"_httpdocument_&amp;d=[InReplyTo]\">([InReplyTo])</a></td></tr>)
<tr><td colspan=\"2\">[Text]</td></tr>
</table>
</p>
</center>"

format VList "<td valign=\"top\">[link][icon][/link]</td>
<td valign=\"top\">[ex.srclink]{Or}{[ex.thumbicon],[ex.srcicon]}[ex./srclink]</td>
<td valign=\"top\">[highlight]
{Or}{[dc.Title],[exp.Title],[ex.Title],Untitled}
[/highlight]{If}{[ex.Source],<br><i>([ex.Source])</i>}</td>"

format HList "[link][highlight][ex.Title][/highlight][/link]"

format DateList "<td>[link][icon][/link]</td>
<td>[highlight]{Or}{[dc.Title],[exp.Title],[ex.Title],Untitled}[/highlight]</td>
<td>{Or}{[dc.Date],[exp.Date],[ex.Date]}</td>"


# -- English strings ----------------
collectionmeta  collectionname [l=en] "Greenstone Archives collection"

collectionmeta  .document:text [l=en] "Messages"
collectionmeta  .document:From [l=en] "From fields"
collectionmeta  .document:Subject [l=en] "Subject lines"

collectionmeta  From [l=en] "From"
collectionmeta  Date [l=en] "Date"
collectionmeta  Subject [l=en] "Subject"
collectionmeta  SearchBySender [l=en] "search by sender"

# -- French strings ----------------
collectionmeta  collectionname [l=fr] "Collection des Archives de Greenstone"

collectionmeta  .document:text [l=fr] "Messages"
collectionmeta  .document:From [l=fr] "Champs De"
collectionmeta  .document:Subject [l=fr] "Lignes de sujets"

collectionmeta  From [l=fr] "De"
collectionmeta  Date [l=fr] "Date"
collectionmeta  Subject [l=fr] "Sujet"
collectionmeta  SearchBySender [l=fr] "recherche par expéditeur"

# -- Spanish strings ----------------
collectionmeta  collectionname [l=es] "Colección de Archivos Greenstone"

collectionmeta  .document:text [l=es] "Mensaje"
collectionmeta  .document:From [l=es] "Campos de origen"
collectionmeta  .document:Subject [l=es] "Líneas del asunto"

collectionmeta  From [l=es] "De"
collectionmeta  Date [l=es] "Fecha"
collectionmeta  Subject [l=es] "Asunto"
collectionmeta  SearchBySender [l=es] "buscar por emisor"

# -- Russian strings ----------------
collectionmeta  collectionname [l=ru] "КПллекцОя арх
ОвПв Greenstone"

collectionmeta  .document:text [l=ru] "СППбщеМОя"
collectionmeta  .document:From [l=ru] "Из пПлей"
collectionmeta  .document:Subject [l=ru] "СтрПкО преЎЌета"

collectionmeta  From [l=ru] "От"
collectionmeta  Date [l=ru] "Дата"
collectionmeta  Subject [l=ru] "ПреЎЌет"
collectionmeta  SearchBySender [l=ru] "ППОск пП ПтправОтелю"

# -- English text ----------------
collectionmeta  collectionextra [l=en] "This is a collection of email messages 
from the Greenstone mailing list archives, from November/December, 2008.

<h3>How the collection works</h3>

<p>
The Greenstone Archives collection
uses the <i>Email</i> plugin, which parses files in email formats. In this case, there is a file per month per mailing list, and each file contains many email messages. The <i>Email</i>
plugin splits these into individual documents, and produces <i>Title</i>,
<i>Subject</i>, <i>From</i>, <i>FromName</i>, <i>FromAddr</i>,
<i>Date</i>, <i>DateText</i>, <i>InReplyTo</i>, and optionally <i>Headers</i>, metadata.

<p>
The <a href=\"_httpcollection_/etc/collect.cfg\" target=collect.cfg>collection configuration file</a> begins with the specification
<i>groupsize 200</i>. This groups documents together into groups of 200. Email
collections typically have many small documents, and grouping them together
prevents Greenstone\'s internal file structures from becoming bloated and
occupying more disk space than necessary. Notice that the <i>Email</i> plugin first
splits the input files up into individual Emails, then <i>groupsize</i> groups them
together again. This allows the collection designer to control what is going on.

<p>
The <i>indexes</i> line specifies 3 searchable indexes, which can be seen by clicking
beside the word \"Messages\" on the
<a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=q\">search page</a> to reveal a drop-down menu.
The first (called <i>Messages</i>) is created from the document
text, while the others are formed from <i>From</i> and <i>Subject</i> metadata.

<p>
There are three classifiers, based on <i>Subject</i>, <i>FromName</i>, and
<i>Date</i> metadata. The <i>AZCompactList</i> classifier used for the first
two is like <i>AZList</i> but generates a bookshelf for duplicate items, as
illustrated <a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=d&cl=CL1\">here</a>.
This is represented by a tree structure whose nodes are either
leaf nodes, representing documents, or internal nodes. A metadata item called
numleafdocs gives the total number of documents below an internal node. The
format statement for the first classifier, called <i>CL1Vlist</i>, checks
whether this item exists. If so the node must be an internal one, in which case
it is labeled by its <i>Title</i>. Otherwise the node\'s label starts with the
<i>Subject</i> which links to the document, then gives <i>FromName</i> metadata, with a link to \"Search by Sender\", followed by the <i>DateText</i>.

<p>
The second classifier (<i>CL2Vlist</i>) is similar, but shows slightly
different information -- the result can be seen
<a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=d&cl=CL2\">here</a>.
For internal nodes, the actual number of leaf documents
(<i>numleafdocs</i>) is given in parentheses after the <i>Title</i>. For
document nodes the <i>FromName</i>, with a link to \"Search By Sender\", <i>Subject</i> (linked to the document), and <i>DateText</i> metadata is
shown.

<p>
The third classifier is a <i>DateList</i>, which allows selection by month and year.

<p>
Finally, the document text is formatted to show the header fields (<i>FromName</i>, <i>DateText</i>, <i>Subject</i>, <i>InReplyTo</i>), followed by
the message text (written as <i>[Text]</i> in the format statement). <i>FromName</i> is linked to a search on that name, while <i>InReplyTo</i> links to the email message that it refers to. 
"

# -- French text ----------------
collectionmeta  collectionextra [l=fr] "_text1_

<h3>Comment fonctionne cette collection ?</h3>

<p>
La collection Greenstone Archive utilise le plugin \"<i>E-mail</i>\", qui traite les fichiers aux formats e-mail. _text2_
_text3_

<p>
Le <a href=\"_httpcollection_/etc/collect.cfg\" target=collect.cfg>fichier de configuration</a> de la collection débute avec la spécification <i>groupsize 200</i>. Ceci regroupe les documents par groupes de 200. Les collections E-mail sont constituées habituellement de plusieurs documents de petite taille; leur regroupement évite l\'augmentation excessive des structures de fichier internes de Greenstone et l\'occupation de plus d\'espace disque que nécessaire. Notez que le plugin <i>E-mail</i> éclate d\'abord les fichiers d\'entrée à traiter en E-mail individuels, ensuite <i>groupsize</i> procÚde à leur regroupement. Ceci permet au créateur de la collection de contrÎler ce qui se passe.

<p>
La ligne des <i>indexes</i> précise trois indexes de recherche qui peuvent être vus en cliquant à cÎté du mot \"Message\" de la <a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=q\">page de recherche</a> pour révéler un menu déroulant. Le premier (appelé <i>Messages</i>) est créé à partir
du texte du document, tandis que les autres sont formés à partir des méta-données <i>From</i> et <i>Subject</i>.

<p>
Il existe trois classificateurs basés sur les méta-données <i>Subject</i>, <i>FromName</i> et <i>Date</i>. Le classificateur <i>AZCompactList</i> utilisé pour les deux premiers est semblable
à \"<i>AZList</i>\", mais en outre il génÚre un rayon de bibliothÚque pour les articles dupliqués, comme illustré <a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=d&cl=CL1\">ici</a>.
Il est représenté par une structure arborescente dont les nœuds sont soit des nœuds de feuille
représentant les documents, soit des nœuds internes. Une Méta-donnée appelée
\"Numleafdocs\" donne le nombre total de documents sous un nœud interne. Les déclarations de format pour le premier classificateur, appelé <i>CL1VList</i>, vérifie si cette méta-donnée existe, auquel cas le nœud doit être d\'une part interne et d\'autre part libellé par son \"<i>Title</i>\" (<i>Titre</i>). _text4_ 

<p>
Le deuxiÚme classificateur (<i>CL2Vlist</i>) est similaire, mais fournit une
information légÚrement différente --le résultat peut être vu
<a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=d&cl=CL2\">ici</a>.
Pour les nœuds internes, le nombre exact de documents en feuilles
(<i>numleafdocs</i>) est donné entre parenthÚses aprÚs <i>Title</i>. _text5_ 

<p>
Le troisiÚme classificateur est un \"<i>DateList</i>\" qui permet une sélection par mois et par année.

<p>
_text6_
"

# -- Spanish text ----------------
collectionmeta  collectionextra [l=es] "
_text1_

<h3>Cómo trabaja esta colección</h3>
<p>

La colección de Archivos de Greenstone utiliza el plugin <i>Email</i>, el cual descompone y analiza los archivos que están en formato de correo electrónico. _text2_ _text3_ 
<p>

El <a href=\"_httpcollection_/etc/collect.cfg\" target=collect.cfg>archivo de configuración de la colección</a> empieza con la especificación <i>groupsize 200</i>, la cual reúne los documentos en grupos de 200. En términos generales las colecciones de correo electrónico tienen muchos documentos pequeños y al agruparlos se evita que las estructuras de archivos internos de Greenstone se inflen demasiado y ocupen más espacio del necesario. Recuerde que el plugin <i>Email</i> divide primero los archivos de entrada en correos individuales y luego <i>groupsize</i> los agrupa nuevamente. Esto le permite al diseñador de la colección controlar lo que está pasando.
<p>

La línea de índices especifica 3 índices de búsqueda, los cuales se pueden ver haciendo click a un lado de la palabra \"Mensajes\" en la <a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=q\">página de búsqueda</a> para que aparezca un menú descendente. El primero (llamado <i>Mensajes</i>) se crea a partir del texto del documento, mientras que los demás se forman a partir de los metadatos de <i>Remitente</i> y <i>Asunto</i>.
<p>

Existen tres clasificadores basados en los metadatos de <i>Asunto, Nombre del Remitente</i> y <i>Fecha</i>. El clasificador <i>AZCompactList</i> utilizado para los dos primeros es como <i>AZList</i>, pero además genera un estante para los ítems duplicados, tal como se puede ver <a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=d&cl=CL1\">aquí</a>. Éste se caracteriza por medio de una estructura de árbol cuyos nodos son hojas que representan documentos o nodos internos. Un ítem de metadato llamado <i>numleafdocs</i> proporciona el número total de documentos debajo de un nodo interno. Los enunciados de formato para el primer clasificador llamado <i>CL1Vlist</i> comprueban si existe dicho ítem. En caso afirmativo se trata de un nodo interno, en cuyo caso se etiquetará por su <i>Título</i>. _text4_
<p>

El segundo clasificador (CL2Vlist) es similar, sólo que muestra una información ligeramente diferente. El resultado se puede ver <a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=d&cl=CL2\">aquí</a>. Para nodos internos el número de documentos (<i>numleafdocs</i>) aparece entre paréntesis después del <i>Título</i>. _text5_ 
<p>

El tercer clasificador es una <i>Lista de Fechas (DateList)</i>, que permite hacer la selección por mes y año.
<p>

_text6_
"

# -- Russian strings ----------------
collectionmeta  collectionextra [l=ru] "
_text1_


<h3>Как рабПтает кПллекцОя</h3>

КПллекцОя арх
ОвПв Greenstone ОспПльзует плагОМ Еmail, кПтПрый аМалОзОрует файлы в фПрЌатах
 электрПММПй пПчты. _text2_  _text3_ 
<p>

КПМфОгурацОПММый файл кПллекцОО МачОМается с ПпреЎелеМОя <i>groupsize</i> 200. ОМ сПбОрает ЎПкуЌеМты в группы пП 200 еЎОМОц. КПллекцОО электрПММПй пПчты ПбычМП сПстПят Оз бПльшПгП чОсла МебПльшОх
 ЎПкуЌеМтПв, О группОрПвка Ох
 вЌесте преЎПтвращает вМутреММОе файлПвые структуры Greenstone Пт разбух
аМОя О заМятОя бПльшегП Ќеста Ма ЎОске, чеЌ МеПбх
ПЎОЌП. ЗаЌетьте, чтП плагОМ Еmail вМачале разбОвает вх
ПЎМые файлы Ма ОМЎОвОЎуальМые электрПММые пОсьЌа, а затеЌ <i>groupsize</i> сМПва сПбОрает Ох
 вЌесте. ЭтП пПзвПляет прПектОрПвщОку кПллекцОО управлять теЌ, чтП слеЎует Ўальше.
<p>

СтрПка <i>ОМЎексПв (indexes)</i> ПпреЎеляет 3 ЎПступМых
 Ўля пПОска ОМЎекса, кПтПрые ЌПгут быть вОЎМы, еслО щелкать ПкПлП слПва <i>СППбщеМОя (Messages)</i> Ма <a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=q\">пПОскПвПй страМОце</a> Ўля пПказа МОспаЎающегП ЌеМю. Первый, МазываеЌый <i>СППбщеМОяЌО</i>, сПзЎается Оз текста ЎПкуЌеМта, в тП вреЌя как ЎругОе сфПрЌОрПваМы пП ЌетаЎаММыЌ <i>От кПгП О ПреЎЌет</i>.
<p>

Существует трО классОфОкатПра, ПсМПваММые Ма ЌетаЎаММых
 <i>ПреЎЌет</i>, <i>ИЌя ПтправОтеля</i> О <i>Дата</i>. КлассОфОкатПр <i>AZCompactList</i>, ОспПльзуеЌый Ўля первых
 Ўвух
, пПх
Пж Ма <i>AZLIST</i>, МП ПМ фПрЌОрует кМОжМую пПлку Ўля ЎублОкатПв элеЌеМтПв, как пПказаМП <a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=d&cl=CL1\">зЎесь</a>. ОМа преЎставлеМа структурПй Ўерева, узлы кПтПрПй являются ОлО узлаЌО лОста, преЎставляя ЎПкуЌеМты, ОлО вМутреММОЌО узлаЌО. МетаЎаММые элеЌеМтПв, МазываеЌые numleafdocs, Ўают Пбщее кПлОчествП ЎПкуЌеМтПв, распПлПжеММых
 МОже вМутреММегП узла. ОператПры фПрЌата Ўля первПгП классОфОкатПра, МазываеЌые <i>CL1Vlist</i>, прПверяют, существует лО этПт элеЌеМт. ЕслО этП так, тП узел ЎПлжеМ быть вМутреММОЌ, в случае чегП ПМ пПЌечается егП <i>НазваМОеЌ (Title)</i>. _text4_ 
<p>

ВтПрПй классОфОкатПр (<i>CL2Vlist</i>) пПЎПбеМ первПЌу, МП ПМ пПказывает ПтлОчающуюся ОМфПрЌацОю -- результат ЌПжМП вОЎеть <a href=\"_gwcgi_?l=_cgiargl_&c=_cgiargc_&a=d&cl=CL2\">зЎесь</a>. Для вМутреММОх
 узлПв фактОческПе чОслП ЎПкуЌеМтПв в спОске (<i>numleafdocs</i>) Ўается в круглых
 скПбках
 пПсле <i>НазваМОя</i>. _text5_ 
<p>

ТретьОЌ классОфОкатПрПЌ является <i>DateList</i>, кПтПрый пПзвПляет прПОзвПЎОть выбПрку сППбщеМОй пП Ќесяцу О гПЎу.
<p>

_text6_
"

# use utf-8 as the default encoding
cgiarg shortname=w argdefault=utf-8