Automatisering metadata-conversie MMDC → KB-MDO
Ik automatiseerde een foutgevoelig conversieproces waarbij metadata uit MMDC werd omgezet naar XML voor verwerking binnen KB-MDO. Door twee bestaande conversietools samen te brengen in één procesgestuurde workflow werden veel handmatige stappen verwijderd en nam de kans op fouten af. De oplossing werd later ook door andere afdelingen gebruikt.
Context
Binnen de Koninklijke Bibliotheek werden metadatarecords uit verschillende bronnen verwerkt en geconverteerd voordat deze konden worden geladen in KB-MDO. Het bestaande proces bestond uit meerdere handmatige stappen en verschillende conversietools, waardoor regelmatig fouten ontstonden tijdens de verwerking. Ik kreeg de vraag om te onderzoeken of dit proces eenvoudiger, betrouwbaarder en beter uitvoerbaar kon worden gemaakt.
Vraagstuk
Hoe kan het laad- en conversieproces van gegevens uit MMDC naar KB-MDO worden vereenvoudigd, zodat gebruikers minder handmatige stappen hoeven uit te voeren en de kans op fouten kleiner wordt?
Aanpak
Ik bracht de verschillende processtappen in kaart en automatiseerde deze stapsgewijs met Windows Batch. De bestaande XML-converter en DBText2XML-tool werden vanuit één proces gestart en aangestuurd. Hierdoor hoefden gebruikers niet langer zelf alle afzonderlijke handelingen uit te voeren. Daarnaast bouwde ik controles en logging in, zodat zichtbaar werd welke stappen waren uitgevoerd en waar eventueel fouten ontstonden. Het volledige proces legde ik vast in een beheerhandleiding, inclusief conversie, validatie, laadproces en controle van de resultaten.
Resultaat
Het oorspronkelijke proces met meerdere losse tools en handmatige stappen werd teruggebracht tot een meer gestandaardiseerde en grotendeels geautomatiseerde workflow. Hierdoor: - waren minder handmatige handelingen nodig; - nam de kans op fouten tijdens de conversie af; - werd het proces reproduceerbaarder; - konden beheerders via logging beter controleren welke stappen waren uitgevoerd; - ontstond een werkwijze die later ook door andere afdelingen kon worden gebruikt.
Technologieën
- Windows Batch
- XML
- DBText
- metadata
- ETL/conversie
- bestandsverwerking
- procesautomatisering
- validatie en applicatiebeheer