Utilização Rápida
1. Clonar o repositório
Section titled “1. Clonar o repositório”ssh (recomendado)
git clone git@github.com:colabhd/open-journals-data.gitou via via https
git clone https://github.com/colabhd/open-journals-data.git2. Coletor de metadados
Section titled “2. Coletor de metadados”O coletor (Scrapy + Playwright) extrai metadados das revistas configuradas em config/journals.json — título, autoria, resumo multilíngue, DOI, referências e URLs de PDF — e grava em TinyDB (bd/<código>/coleta_tinydb.json, fora do git).
Instalação
Section titled “Instalação”Requisito: uv.
uv syncuv run playwright install chromium # necessário para revistas SciELOuv run pre-commit install --hook-type pre-commit --hook-type commit-msglist-journals
Section titled “list-journals”Lista as revistas configuradas.
uv run open-journals-data list-journals # revistas configuradasExemplo de saída:
BRA_REV_ARQUIVO_NACIONAL ojs historiaBRA_TEMPO_MUNDO ojs economia, relações InternacionaisBRA_CAMPOS_NEUTRAIS ojs relações InternacionaisBRA_REV_AFRO_ASIA ojs historiaBRA_REV_PERIODICO_ALMANACK ojs historiaBRA_REV_ANAIS_MUSEU_SP ojs historiaBRA_REV_ANOS_90 ojs historiaBRA_REV_ANTITESES ojs historiaBRA_REV_CADERNOS_CEOM ojs historiaBRA_REV_ESTUDOS_HISTORICOS ojs historiaBRA_REV_HISTORIA_ENSINO_UEL ojs historiaBRA_REV_HISTORIA_QUESTOES_DEBATES ojs historiaBRA_REV_HISTORIA_SAO_PAULO scielo historiaBRA_REV_HISTORIA_UNISINOS ojs historiaBRA_REV_HCSM_ONLINE scielo historiaBRA_REV_HISTORIA_DA_HISTORIOGRAFIA ojs historiaBRA_REV_PROJETO_HISTORIA_PUCSP ojs historiaBRA_REV_BRASILEIRA_HISTORIA_ONLINE scielo historiaBRA_REV_DE_HISTORIA ojs historiaBRA_REV_MUNDOS_DO_TRABALHO ojs historiaBRA_REV_TEMPO_E_ARGUMENTO ojs historiaBRA_REV_TEMPO_NITEROI_ONLINE scielo historiaBRA_REV_TOPOI_ONLINE scielo historiaBRA_REV_VARIA_HISTORIA scielo historia
Total: 24 revistasvalidate-config
Section titled “validate-config”Valida as revistas configuradas em journals.json.
uv run open-journals-data validate-config # valida o journals.jsonExemplo de saída:
OK — 24 revistas válidasRealiza a coleta dos portais configurados.
uv run open-journals-data crawl # coleta tudoFiltra a plataforma que será coletada.
uv run open-journals-data crawl --platform ojs # filtra por plataformaFiltra a revista e a quantidade de entradas a ser coletadas.
uv run open-journals-data crawl --acronym BRA_REV_DE_HISTORIA --limit 5Desenvolvimento
Section titled “Desenvolvimento”Os comandos abaixo rodam os testes e validam a formatação.
uv run pytest -m "not e2e" # testes offlineuv run ruff check . && uv run ruff format --check .uv run mypy src/