Solo comuniitalia + comuniveneto ·
tre stadi: scraping → L1 → cold ·
metriche con definizioni fisse (niente stime inventate)
cache —agg. —
Indicizzati
—
catalogo provvedimenti
File ok
—
fetched=1
Nodoc (204)
—
metadati, non errore
Da scaricare
—
todo · ETA solo se rate reale
Errori
—
fetched=-1 escl. 204
Rate atti ok
—
atti/min · MAX finestra 15'/60'
GB file ok
—
solo size di fetched=1
I/O processi
—
MB/s rete · unità diverse dal rate
1 · Scraping
files_ok = file scaricati · nodoc = atti solo metadati ·
todo = coda download (fetched=0) · non “da indicizzare”.
Rate = atti ok/min, MAX fra finestra 15' e 60' su fetched_at — mai MB/s.
Schema
Indexed
File ok
Nodoc
Todo
Err
In corso
Rate
ETA
GB
Partizioni (se presenti)
Schema
Stati partizioni
Per clava
Clava
Schema
Enti
Indexed
File ok
Nodoc
Todo
Err
Rate
ETA
2 · Ingest L1
Confronta files_ok (PDF/file su disco catalogati) con documents_l1.
l1_gap_vs_files = files_ok − l1_rows: stima, può essere negativa se L1 include più stati.
Offloadable = n_chars>0 e origine.rel valorizzato.
Schema
files_ok
L1 rows
gap (files−L1)
con testo
offloadable
built ≤10m
3 · Archivio freddo
I numeri batch_moved / batch_total sono il lotto del run corrente,
non lo storico del corpus. Velocità in MB/s (I/O), non atti/min.
Storage box
—
—
Velocità offload
—
MB/s processi offload
Batch in corso
—
schema
Schema
Stato
Batch moved
Batch total
Avanzamento lotto
Aggiornato
Processi rilevanti
Solo comuni / L1 / offload · ultimi 4 min da ops.heartbeats · ↓/↑ in MB/s
Nome
Host
Kind
CPU
RAM
↓ MB/s
↑ MB/s
Egress
Age
Definizioni (fisse)
Se un numero non combacia con questi lemmi, è un bug da segnalare — non “interpretazione”.