Skip to content
Documentação

Roadmap de Funcionalidades

Este documento apresenta o planejamento das funcionalidades planejadas, em desenvolvimento e previstas para as próximas versões do Open Journals Data, alinhado ao padrão de governança e engenharia de dados do ColabHD.

Visão Geral do Ciclo de Vida

Section titled “Visão Geral do Ciclo de Vida”

O projeto estrutura a universalização e recuperação de periódicos acadêmicos em cinco etapas sequenciais:

[Fase 1: Coleta de Metadados] ➔ [Fase 2: Qualidade e Documentação] ➔ [Fase 3: OAI-PMH e PDFs] ➔ [Fase 4: Metadados XMP e Recoll] ➔ [Fase 5: InvenioRDM e Preservação]

Fase 1 — Coletor de Metadados e CLI (Concluída)

Section titled “Fase 1 — Coletor de Metadados e CLI (Concluída)”
  • Estrutura base do pacote em Python 3.12 gerenciado com uv
  • Spiders em Scrapy para periódicos hospedados na plataforma Open Journal Systems (OJS)
  • Integração com Playwright (Chromium) para contornar renderização dinâmica em periódicos SciELO
  • Armazenamento estruturado local em formato NoSQL leve utilizando TinyDB (bd/<codigo>/coleta_tinydb.json)
  • Criação da interface de linha de comando (open-journals-data e alias ojd)
  • Validador de esquemas e configurações para o arquivo config/journals.json

Fase 2 — Qualidade, Governança e Website (Fase Atual)

Section titled “Fase 2 — Qualidade, Governança e Website (Fase Atual)”
  • Implantação de hooks de pré-commit com Ruff, Mypy e Conventional Commits
  • Cobertura de testes unitários offline com Pytest (pytest -m "not e2e")
  • Desenvolvimento do website institucional e documentação técnica em Astro e Starlight
  • Conclusão dos manuais de utilização, resolução de erros e guias de contribuição
  • Correção e padronização dos assets e imagens da equipe no website

Fase 3 — Adoção de OAI-PMH e Coleta de PDFs (Próxima Etapa)

Section titled “Fase 3 — Adoção de OAI-PMH e Coleta de PDFs (Próxima Etapa)”
  • Harvester OAI-PMH: Implementação de coleta via protocolo Open Archives Initiative Protocol for Metadata Harvesting para portais OJS que expõem o endpoint /oai, reduzindo a necessidade de raspagem visual HTML
  • Coletor de PDFs: Criação do pipeline de download automatizado de arquivos completos de artigos
  • Verificação de Integridade: Validação de checksum (MD5/SHA256) dos arquivos baixados contra corrupção
  • Tratamento de Edições Correntes: Mecanismo incremental para coletar apenas fascículos e edições lançadas após a última varredura

Fase 4 — Vinculação de Metadados (XMP) e Indexação

Section titled “Fase 4 — Vinculação de Metadados (XMP) e Indexação”
  • Embutimento de Metadados via XMP: Injeção direta de títulos, autores, resumos, DOIs e termos de indexação dentro dos metadados internos dos arquivos PDF (Extensible Metadata Platform)
  • Integração com Recoll e RecollWeb: Configuração de índices temáticos automáticos para busca textual integral (full-text search) no ambiente de pesquisa do LabRI
  • Exportação em Parquet: Pipeline para consolidação e conversão das bases JSON/TinyDB em formato colunar otimizado para análise quantitativa com Pandas e Polars

Fase 5 — Preservação Digital e Automação (Longo Prazo)

Section titled “Fase 5 — Preservação Digital e Automação (Longo Prazo)”
  • Integração com InvenioRDM: Ingestão das coleções e metadados tratados no repositório institucional de preservação digital do laboratório
  • Agendamento Contínuo: Configuração de rotinas periódicas de coleta no servidor ipprivm01
  • Painel de Monitoramento: Painel visual para acompanhamento do status de coleta, periódicos ativos e volume de dados ingeridos