Skip to content

Commit

Permalink
Updated lisezmoi/readme.
Browse files Browse the repository at this point in the history
  • Loading branch information
Daniel Berthereau authored and Daniel Berthereau committed Sep 11, 2023
1 parent 160370c commit b7b178e
Show file tree
Hide file tree
Showing 2 changed files with 58 additions and 28 deletions.
41 changes: 28 additions & 13 deletions LISEZMOI.md
Original file line number Diff line number Diff line change
Expand Up @@ -16,20 +16,28 @@ sans limite de [taille ou nombre de fichiers] dans le formulaire de ressource
et dans le formulaire séparé pour le téléchargement des fichiers, utilisé pour
les imports ultérieurs.

Pour l’importation en masse, le module gère les lecteurs d’une source (xml, sql,
tableur, url…) et utilise des processeurs pour les importer en tant que
ressources Omeka et autres données (utilisateurs, modèles…) via des alignements.
Un import s’effectue en trois étapes :

- lecture d’une source, qui peut être un fichier, une api, une url, ou une liste
d’url ou de fichiers. Le contenu peut être en xml, json, sql ou en tableur.
- alignement du contenu de la source avec le contenu Omeka. L’alignement peut
être manuel, automatique ou préconfiguré. Il peut être enregistré et réutilisé
pour d’autres imports.
- traitement, qui peut être une création ou une mise à jour, selon différents
modes, pour diverses ressources (contenus, médias, collections, fichiers, etc.).

Comme plusieurs importeurs peuvent être préparés avec les mêmes lecteurs et
processeurs, il est possible d’importer plusieurs fois le même type de fichiers
sans avoir à aligner les données chaque fois.

Les lecteurs par défaut sont le lecteur Omeka S (via l’api json endpoint), xml
(via transformation avec xslt), sql (pour s’adapter à chaque base de données, un
exemple pour [e-prints] est fourni), [Spip] (via la base de données), et tableur
(via ods, tsv ou csv). Le tableur utilise un processeur qui crée des ressources
sur la base d’un format d’en-tête spécifique, mais sans l’interface manuelle
comme le module module [CSV Import].
Les importeurs par défaut sont :

- xml METS et EAD
- json à partir d’IIIF ou de Content-DM
- sql
- tableurs (csv, tsv, ods)
- Omeka Classic
- Omeka S


Installation
Expand Down Expand Up @@ -354,6 +362,8 @@ afin de récupérer toutes les données annexes.
Il suffit de sélectionner le lecteur sql et le processeur eprints, puis de
suivre les instructions.

Cet importeur n’est plus disponible actuellement.


Omeka S
-------
Expand All @@ -376,6 +386,8 @@ l’url et de continuer. Vous devez installer d’autres modules : [Advanced Res
[Custom Vocab], [Data Type Rdf], [Numeric Data Types], [Spip ], [Thesaurus],
[User Profile].

Cet importeur n’est plus disponible actuellement.


Tableur
-------
Expand Down Expand Up @@ -492,7 +504,7 @@ TODO
- [ ] Mise à jour pour le module Mapping.
- [ ] Importation des utilisateurs, en particulier pour l’importation Omeka S.
- [x] Importation d’uri avec label dans le tableur.
- [ ] Importation d’uri avec libellé pour Value Suggest.
- [x] Importation d’uri avec libellé pour Value Suggest.
- [ ] Sauter l’import des vocabulaires et des modèles de ressources pour l’import Omeka S.
- [ ] Permettre de définir une requête pour l’import Omeka S.
- [ ] Ajouter des vérificains, en particulier avec les tableurs multi-feuilles.
Expand All @@ -501,9 +513,9 @@ TODO
- [-] Spip : Utiliser la langue de la rubrique supérieure si pas de langue.
- [ ] Utiliser metaMapper() pour les imports sql (donc convertir les processeurs spéciaux) ou convertir les lignes plus tôt (comme les tableurs).
- [x] Pour les imports sql, utiliser une requête sql directe lorsque l’alignement est de table à table (comme les statistiques eprints).
- [ ] Convertir l’importeur spécifique en processeur de ressources standard + modèle.
- [ ] Dépréciation de tous les convertisseurs directs qui n’utilisent pas metaMapper() (donc mise à jour du processus de feuille de calcul).
- [ ] Le nombre de lignes sautées ou vides est différent pendant la vérification et le processus réel.
- [x] Convertir l’importeur spécifique en processeur de ressources standard + modèle.
- [x] Dépréciation de tous les convertisseurs directs qui n’utilisent pas metaMapper() (donc mise à jour du processus de feuille de calcul).
- [x] Le nombre de lignes sautées ou vides est différent pendant la vérification et le processus réel.
- [ ] Vérifier le jeu d’éléments, le modèle et la classe par défaut (ils peuvent ne pas être définis lors de la création, de la mise à jour ou du remplacement via le tableur).
- [ ] Vérifier une ressource avec `o:item_set[dcterms:title]`.
- [ ] Ajout d’une action "error" pour les ressources non identifiées.
Expand All @@ -520,6 +532,9 @@ TODO
- [ ] Normaliser la config pour extraire les métadonnées avec metamapper.
- [ ] Ajouter un alignement automatique pour les images etc. avec xmp.
- [ ] Gérer les paramètres d'import et les paramètres.
- [ ] Renommer "params" en "settings" ("settings" est utilisé dans job, etc.) ?
- [ ] Permettre d’utiliser un identifiant specifique par colonne (voir target_data).
- [ ] Réimplémenter les colonnes multiples pour les media lors de l’import des items et donc possibilité d’indiquer le titre, etc. pour chaque media en une seule ligne (voir ancien appendRelated()).


Avertissement
Expand Down
45 changes: 30 additions & 15 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -14,19 +14,27 @@ import of resources.
Furthermore, it adds a way to bulk upload files manually without limit of [size or number of files]
in resource form and via a separate bulk upload form for future imports.

For bulk import, the module manages readers of a source (xml, sql, spreadsheet,
url…) and uses processors to import them as Omeka resources and other data
(users, templates…) via a mapping.
The import process is done in three steps:

Because multiple importers can be prepared with the same readers and processors,
it is possible to import multiple times the same type of files without needing
to do the mapping each time.
- read a source, that can be a file, a endpoint, a url, or a list of urls or
files. The content can be xml, json, sql, or spreadsheet.
- map source content into omeka content via a mapping, that can be manual,
automatic or pre-configured. The mapping can be stored to be replayed later.
- process an action, that can be creation or update, in various modes into
various resources (items, medias, item sets, assets, etc.).

Default readers are Omeka S reader (via the api json endpoint), xml (via
transformation with xslt), sql (to adapt to each database, an example for [e-prints]
is provided), [Spip] reader (via the database), and spreadsheet reader (via ods,
tsv or csv). The spreadsheet uses a processor that creates resources based on a
specific header format, but don't have a pretty manual ui like the module [CSV Import].
Because multiple importers can be prepared with the same readers, mappings and
processors, it is possible to import multiple times the same type of files
without needing to do the mapping each time.

Default importers are:

- xml METS and EAD
- json from IIIF or from Content-DM
- sql
- spreadsheets (csv, tsv, ods)
- Omeka Classic
- Omeka S


Installation
Expand Down Expand Up @@ -333,6 +341,8 @@ fetch all metadata.

Simply select the sql reader and the eprints processor, then follow the forms.

This importer is no more available for now.


Omeka S
-------
Expand All @@ -352,6 +362,8 @@ Simply set the database credentials and the endpoint and go on. You need to
install some more modules: [Advanced Resource Template], [Custom Vocab],
[Data Type Rdf], [Numeric Data Types], [Spip ], [Thesaurus], [User Profile].

This importer is no more available for now.


Spreadsheet
-----------
Expand Down Expand Up @@ -462,7 +474,7 @@ TODO
- [ ] Update for module Mapping.
- [ ] Import of users, in particular for Omeka S import.
- [x] Import of uri with label in spreadsheet.
- [ ] Import of uri with label in value suggest.
- [x] Import of uri with label in value suggest.
- [ ] Skip import of vocabularies and resource templates for Omeka S import.
- [ ] Allow to set a query for Omeka S import.
- [ ] Add check, in particular with multi-sheets.
Expand All @@ -471,9 +483,9 @@ TODO
- [-] Spip: Utiliser la langue de la rubrique supérieure si pas de langue.
- [ ] Use metaMapper() for sql imports (so convert special processors) or convert rows early (like spreadsheets).
- [x] For sql import, use a direct sql query when mapping is table to table (like eprints statistics).
- [ ] Convert specific importer into standard resource processor + pattern.
- [ ] Deprecate all direct converters that don't use metaMapper() (so upgrade spreadsheet process).
- [ ] Count of skipping or empty rows is different during check and real process.
- [x] Convert specific importer into standard resource processor + pattern.
- [x] Deprecate all direct converters that don't use metaMapper() (so upgrade spreadsheet process).
- [x] Count of skipping or empty rows is different during check and real process.
- [ ] Check default item set, template and class (they may be not set during creation or update or replace via spreadsheet).
- [ ] Check a resource with `o:item_set[dcterms:title]`.
- [ ] Add action "error" for unidentified resources.
Expand All @@ -490,6 +502,9 @@ TODO
- [ ] Normalize config of metadata extraction with metamapper.
- [ ] Add an automatic mapping for images etc. with xmp.
- [ ] Manage import params and params.
- [ ] Rename "params" by "settings" ("settings" is used job, etc.)?
- [ ] Implement possibility to select identifier names by column (see old target_data).
- [ ] Reimplement multiple columns for media when importing items, so possibility to set title, etc. for each media in the same line (see old appendRelated()).


Warning
Expand Down

0 comments on commit b7b178e

Please sign in to comment.