Perguntas Frequentes (FAQ)
Reunimos aqui as respostas para as principais dúvidas sobre o funcionamento técnico, arquitetura e objetivos do Open Journals Data.
1. O que é o Open Journals Data e qual problema ele resolve?
Section titled “1. O que é o Open Journals Data e qual problema ele resolve?”O projeto centraliza e indexa a produção científica de periódicos acadêmicos de acesso aberto. Pesquisadores frequentemente enfrentam dificuldades para localizar artigos específicos devido à dispersão entre instalações isoladas do Open Journal Systems (OJS) e à limitação dos motores de busca tradicionais. O Open Journals Data realiza uma coleta estruturada de metadados e artigos completos para permitir consultas em profundidade (full-text search).
2. Por que o coletor utiliza Scrapy e Playwright em conjunto?
Section titled “2. Por que o coletor utiliza Scrapy e Playwright em conjunto?”A maior parte das revistas baseadas em OJS pode ser raspada com requisições HTTP estáticas via Scrapy, que é extremamente leve e rápido. No entanto, portais modernos (como o SciELO) utilizam renderização dinâmica pesada em JavaScript. Nesses casos, o Scrapy aciona o Playwright em segundo plano com um navegador Chromium sem interface gráfica (headless) para garantir a extração completa de todos os campos e links de PDFs.
3. Por que os dados coletados ficam na pasta bd/ e não sobem para o Git?
Section titled “3. Por que os dados coletados ficam na pasta bd/ e não sobem para o Git?”Os arquivos de banco de dados gerados pelo TinyDB (bd/<codigo>/coleta_tinydb.json) e os PDFs dos artigos atingem dezenas de gigabytes conforme o acervo cresce. O Git não foi projetado para versionar grandes volumes de dados binários. Por isso, a pasta bd/ é ignorada no .gitignore. As bases consolidadas são preservadas nos servidores locais do laboratório e em repositórios de dados abertos institucionais.
4. Como sugerir um novo periódico para ser incluído no coletor?
Section titled “4. Como sugerir um novo periódico para ser incluído no coletor?”Você pode abrir uma Issue no repositório do projeto no GitHub informando:
- Nome completo da revista
- Acrônimo/sigla sugerida
- URL principal do portal
- Plataforma utilizada (
ojsouscielo) - Área do conhecimento predominante
Após validação técnica da equipe, a revista é inserida em config/journals.json.
5. O que é o protocolo OAI-PMH mencionado no Roadmap?
Section titled “5. O que é o protocolo OAI-PMH mencionado no Roadmap?”O OAI-PMH (Open Archives Initiative Protocol for Metadata Harvesting) é o padrão formal utilizado por repositórios e periódicos científicos digitais para fornecer metadados de forma interoperável via XML (no endpoint /oai). A adoção do OAI-PMH permitirá ao projeto colher metadados de forma oficial e estruturada, reduzindo a dependência da raspagem direta de HTML.
6. Quais são as licenças de uso do projeto?
Section titled “6. Quais são as licenças de uso do projeto?”- Código-fonte: Licenciado sob a licença MIT (permissiva e aberta para reutilização e modificação).
- Documentação e Manuais: Licenciados sob Creative Commons Atribuição 4.0 Internacional (CC BY 4.0).
- Metadados e Artigos: Respeitam as licenças de acesso aberto originais atribuídas por cada periódico fonte.
7. O que fazer se a coleta falhar com erro de navegador ausente?
Section titled “7. O que fazer se a coleta falhar com erro de navegador ausente?”Caso ocorra o erro Executable doesn't exist ao coletar revistas do SciELO, basta instalar os binários do Chromium gerenciados pelo ambiente virtual executando:
uv run playwright install chromium