Preservació digital de tesis i dissertacions: l'experiència del repositori cooperatiu TDX
Transferir como PPTX, PDF0 gostou220 visualizações
1) O documento discute a experiência do repositório cooperativo TDX na preservação digital de teses e dissertações. 2) O TDX começou em 2001 e cresceu para armazenar 0,6 TB de dados e receber 4,5 milhões de acessos em 2016. 3) O TDX usa replicação, migração de formatos, verificação de integridade e outros métodos para assegurar a preservação a longo prazo dos dados.
Preservació digital de tesis i dissertacions: l'experiència del repositori cooperatiu TDX
- 1. Preservação digital de teses e dissertações Experiência do repositório cooperativo TDX Ricard de la Vega Computing and Applications Manager Consorci de Serveis Universitaris de Catalunya (CSUC) 10º debate Grupo de Pesquisa Dríade
- 2. Agenda 1. Introdução (CSUC) 2. Repositórios de cooperação 3. Repositório de teses digitais (TDX) 4. Preservação do TDX
- 3. • Generalitat de Catalunya • Universitat de Barcelona (UB) • Universitat Autònoma de Barcelona (UAB) • Universitat Politècnica de Catalunya (UPC) • Universitat Pompeu Fabra (UPF) • Universitat de Girona (UdG) • Universitat Rovira i Virgili (URV) • Universitat de Lleida (UdL) • Universitat Oberta de Catalunya (UOC) • Universitat Ramon Llull (URL) • Universitat de Vic (UVic) • Gestão de infraestruturas e serviços cooperativos para as universidades e lá investigação da Catalunha • Fusão de um consórcio TIC e um bibliotecário Consórcio de Serviços Universitários de Catalunha (CSUC)
- 6. Agenda 1. Introdução (CSUC) 2. Repositórios de cooperação 3. Repositório de teses digitais (TDX) 4. Preservação do TDX
- 7. Towards a European e-Infrastructure for e-Science Digital Repositories. 7th e-Concentration Meeting, Brussels, 12-14th October, 2009 Repositórios de cooperação
- 8. TDX RECERCAT RACO PADICAT RECYT MDC MDX PADICYT CALAIX FILMOTECA SCIENTIA MACBA Repositórios digitais
- 9. 2001 2005 2006 2006 2006 2006 2009 2009 2010 2012 2015 2015 Quase 15 anos de repositórios…
- 10. Tese Trabalhos de pesquisa Revistas Websites Revistas Património colecções Materiais didáticos Websites Dept. Cultura Património cinematográfico Dept. Saúde Património artístico Conteúdo
- 11. Texto (PDF) Texto (PDF) Texto (PDF) WARCs Texto (PDF) Imagem Texto (PDF) WARCs Texto, imagem, audiovisual Texto, imagem, audiovisual Texto, imagem, audiovisual Texto, imagem, audiovisual Formatos: texto, imagem, vídeo...
- 12. DSpace DSpace OJS Heritrix, etc. OJS CONTENTdm DSpace Heritrix, etc. DSpace DSpace DSpace DSpace Programas: DSpace, OJS...
- 13. Gestão de dados científicos Grupo de trabalho per: – Criação de uma política – Data Management Plans • Orientações (http://hdl.handle.net/2072/266523) • DMP Online instância de DCC – Repositório de dados de pesquisa • Orientações (http://hdl.handle.net/2072/266502) • Possível criação de um repositório cooperativo – Piloto
- 14. Portal de pesquisa da Catalunha
- 15. Other DRAC Universitas XXI GREC SIGMA UNEIX Local and consortia repositories. Mainly DSpace Catalan government DataWarehouse PRC. Based on Dspace-CRIS (CINECA) 11 university CRIS systems (from 4 different vendors) Protocol: OAI-PMH/SWORD Format: DC Protocol: OAI-PMH Format: CERIF-XML Protocol: XLS files Format: UNEIX defined Portal de pesquisa da Catalunha
- 16. Agenda 1. Introdução (CSUC) 2. Repositórios de cooperação 3. Repositório de teses digitais (TDX) 4. Preservação do TDX
- 17. TDX em 2001 (80 GB, 8K access hits)
- 18. TDX em 2016 (0.6 TB, 4.5M access hits)
- 19. Estructura de TDX Cada universidade (18): • é uma Comunidade • Tem licenças de admissão de teses • Administra sua coleção • Personalização • Pesquisadores frontend Procedimentos e grupos de trabalho comum Universidades
- 20. Estructura de TDX Departamentos e faculdades Teses
- 21. Divulgação e preservação da tese URV UVic UdG UdL UV UJI UM UC UA UAB UPF UB Arquivos UIB Metadados Admissão das 18 universidades
- 22. Divulgação da tese espanholas 33 33 33 33 33 33 33 33 OAI-PMH harvester da tese das 33 universidades espanholas
- 23. CRIS CRIS CRIS Mais divulgação da teses DART Recol ecta Driver Tese europeia Trabalhos de pesquisa espanhol Trabalhos de pesquisa europeia … Motores de busca Outros colecionadores Portal de pesquisa da Catalunha CRIS CRIS CRIS
- 24. Agenda 1. Introdução (CSUC) 2. Repositórios de cooperação 3. Repositório de teses digitais (TDX) 4. Preservação do TDX
- 25. Long term preservation • The e-infrastructure must ensure the long term data access, without failure. • To succeed, it must be taken into account: – Replication (more than one copy) – Media refresh – Format migration – Data integrity (checksums) – Contingency and recovery plan – Preservation plan – ...
- 26. Hardware migrations 2001 (cpu, disk and tapes) – HP N4000 2003 (cpu + disk) – HP rp5430 with 2 processors, 704 GB memory – HP EVA V.2 with 2,8 TB disk 2006 (cpu + tape) – High availability HP cluster with 32 nodes – Adic Scalar i2000 (from 9840 tapes to LTO3) 2009 (disk) – NetApp FAS3170 with 60 TB disk 2012 (cpu) – New High availability cluster 2016 (disk) – New storage cabine Born in a supercomputer!
- 27. Software migrations 2001 – ETDdb from Virginia Tech 2005 – + OAI-PMH & statistics modules 2007 – + Spanish Thesis Harvester (MetaIndex module + X-Server libraries) from Ex Libris 2011 – DSpace 1.6 from MIT & HP labs 2013 – + Drupal for news & intranet … 2016 – DSpace 5.2
- 28. Data integrity & Format migration • Data Integrity –Checksums on DSpace (online version) –Checksums on LOCKSS (dark copies) • Format migration –Not yet (PDF) –But Metadata migration yes • From HTML forms (ETDdb) to Dublin Core (DSpace)
- 29. Replication • On disk - Online version (1) • One backup on the tape library (2) • Other backup on a fireproof cabinet (3) • Other backup on a 50 Km remote Centre (4) • A dark copy on the MetaArchive Cooperative – Private LOCKSS (Lots of Copies Keep Stuff Safe) Network – 7 more copies around the world (11) • And (possible) more copies on each University
- 30. MetaArchive Cooperative • The Educopia Institute’s mission is help cultural, scientific, and scholarly institutions achieve greater impact • Lots of Copies Keep Stuff Safe (LOCKSS) • A private LOCKSS network (PLN) • Centralized facilities (conspectus, svn…) • P2P secure network of “cache” nodes
- 31. Marketing... “With others, you can accomplish what you cannot accomplish alone” “Don’t put all your eggs in one basket”
- 32. Private LOCKSS Networks (PLNs) • Alabama Digital Preservation Network (ADPN). • CLOCKSS Archive. • Council of Prairie and Pacific University Libraries (COPPUL) • Data Preservation Alliance for the Social Sciences (Data-PASS) • Digital Commons. • Digital Federal Depository Library Program. • CARINIANA Instituto Brasileiro de Informaçãoem Ciência e Tecnologia • Lukll. • MetaArchive Cooperative. • PKP Public Knowledge Project. • PNAS Proceedings of the National Academy of Sciences. • Persistent Digital Archives and Library System – PeDALS. • SAFE (SAFE Archiving FEderation). • Synergies. • UK LOCKSS Alliance Fonte: www.lockss.org/community/networks
- 33. 50 instituições em 3 países
- 37. Como funciona?
- 38. Arquivo escuro
- 39. Private LOCKSS network • 7 copies with widespread geographical distribution • All 7 servers revisit on a regular basis to pick up new and changed content • Versioning (no remove changed content) • Checksums file integrity control
- 40. Benefits – Distributed archiving of digitals collections across multiple geographically distributed preservation sites – Retrieval of contents in case of catastrophic loss – Assistance with installation and maintenance of the technical solution – Reports, coordination web conference…
- 41. Responsibilities Initially: – Local LOCKSS installation (cache) – Define a data preservation strategy (Data Wrangling) for your “particular” repository – Rules design for the other cache to harvest your repository (Plugin) – Enroll your collections in a central database (Conspectus)
- 42. Responsibilities Periodically: – Add collections (of others) assigned centrally – Apply firewall changes (IP active list) – Apply updates – Coordination with the MetaArchive staff and others cache if a restore (for disaster) is needed
- 43. Nuestra experiencia con MetaArchive – Fácil modelo – Relativamente barata – Eu comprovada (em casos reais) – Precisamos conhecimento técnico – É apropriado para o conteúdo bem definido – Formato agnóstico, “solo" preserva arquivos
- 44. Bibliografia – A Guide to Distributed Digital Preservation. K. Skinner and M. Schultz, Eds. (Atlanta, GA: Educopia Institute, 2010). http://metaarchive.org/sites/metaarchive.org/files/GDDP_Educopia.pdf – Miquel Térmens: Preservación digital. Barcelona, Editorial UOC, 2014. ISBN:978- 84-9064-082-1. – Ricard de la Vega. "Preservació digital al núvol." Item: revista de biblioteconomia i documentació, 2013,Núm. 57 . http://www.raco.cat/index.php/Item/article/view/269708/372314 – Huguet, Miquel ; Anglada i de Ferrer, Lluís M. ; Vega, Ricard de la. "Catalan Policies and Experiences on Cooperative Repositories". Centre de Supercomputació de Catalunya. 2007. http://hdl.handle.net/2072/4083
- 45. Muito obrigado! [email protected] @rdelavega https://es.linkedin.com/in/ricarddelavega “Sometimes a scream is better than aManfred Eigen
- 46. www.tdx.cat
- 47. www.recercat.cat
- 48. www.raco.cat
- 49. www.raco.cat
- 50. www.raco.cat
- 51. www.padicat.cat
- 54. www.mdx.cat