소스 검색

move pasta training para dentro do backend e ajusta caminhos

- export de dataset agora escreve em backend/training/data (default)
- .venv, adapters e logs do treino fora do git
- avaliar-tudo.log sai do versionamento (artefato de execução)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
GabrielRamison 2 달 전
부모
커밋
d92953a423
4개의 변경된 파일6개의 추가작업 그리고 55개의 파일을 삭제
  1. 3 0
      .gitignore
  2. 2 2
      scripts/exportarDatasetTreinamento.js
  3. 0 52
      training/avaliar-tudo.log
  4. 1 1
      training/treinar_lora_mlx.sh

+ 3 - 0
.gitignore

@@ -5,3 +5,6 @@ yarn.lock
 /data/*
 .env
 .DS_Store
+training/.venv/
+training/adapters/
+training/*.log

+ 2 - 2
scripts/exportarDatasetTreinamento.js

@@ -6,7 +6,7 @@
 //   --incluir-parcial    inclui Resolvido="parcial" além de "sim"
 //   --max-chars 16000    descarta conversas maiores que isso (contexto de treino)
 //   --valid-frac 0.1     fração para validação (default 0.1)
-//   --out ../training/data   diretório de saída (default training/data na raiz do repo)
+//   --out ../training/data   diretório de saída (default backend/training/data)
 
 import fs from "node:fs";
 import path from "node:path";
@@ -23,7 +23,7 @@ function parseArgs(argv) {
     incluirParcial: false,
     maxChars: 16000,
     validFrac: 0.1,
-    out: path.resolve(__dirname, "../../training/data")
+    out: path.resolve(__dirname, "../training/data")
   };
   for (let i = 2; i < argv.length; i += 1) {
     const a = argv[i];

+ 0 - 52
training/avaliar-tudo.log

@@ -1,52 +0,0 @@
-[config] RATE_LIMIT_PER_MINUTE=0 — rate limiting desabilitado
-[avaliar-tudo] 820 pendentes, lotes de 25
-[avaliar-tudo] +22 avaliados, 3 sem diálogo, 0 erros (340s) — restam 795
-[avaliar-tudo] +19 avaliados, 6 sem diálogo, 0 erros (317s) — restam 770
-[avaliar-tudo] +18 avaliados, 7 sem diálogo, 0 erros (283s) — restam 745
-[avaliar-tudo] +12 avaliados, 13 sem diálogo, 0 erros (172s) — restam 720
-[avaliar-tudo] +12 avaliados, 13 sem diálogo, 0 erros (153s) — restam 695
-[avaliar-tudo] +8 avaliados, 17 sem diálogo, 0 erros (163s) — restam 670
-[avaliar-tudo] +11 avaliados, 14 sem diálogo, 0 erros (251s) — restam 645
-[config] RATE_LIMIT_PER_MINUTE=0 — rate limiting desabilitado
-[avaliar-tudo] 676 pendentes, lotes de 25
-[avaliar-tudo] +21 avaliados, 4 sem diálogo, 0 erros (443s) — restam 651
-[avaliar-tudo] +24 avaliados, 1 sem diálogo, 0 erros (473s) — restam 626
-[avaliar-tudo] +24 avaliados, 1 sem diálogo, 0 erros (382s) — restam 608
-[avaliar-tudo] +23 avaliados, 2 sem diálogo, 0 erros (506s) — restam 585
-[config] RATE_LIMIT_PER_MINUTE=0 — rate limiting desabilitado
-[avaliar-tudo] 561 pendentes, lotes de 25
-[avaliar-tudo] +22 avaliados, 3 sem diálogo, 0 erros (330s) — restam 536
-[avaliar-tudo] +22 avaliados, 3 sem diálogo, 0 erros (405s) — restam 524
-[avaliar-tudo] +23 avaliados, 2 sem diálogo, 0 erros (423s) — restam 527
-[avaliar-tudo] +21 avaliados, 4 sem diálogo, 0 erros (397s) — restam 504
-[avaliar-tudo] +23 avaliados, 2 sem diálogo, 0 erros (347s) — restam 479
-[avaliar-tudo] +18 avaliados, 7 sem diálogo, 0 erros (237s) — restam 454
-[avaliar-tudo] +23 avaliados, 2 sem diálogo, 0 erros (373s) — restam 429
-[avaliar-tudo] +21 avaliados, 4 sem diálogo, 0 erros (371s) — restam 439
-[avaliar-tudo] +25 avaliados, 0 sem diálogo, 0 erros (450s) — restam 414
-[avaliar-tudo] +16 avaliados, 9 sem diálogo, 0 erros (204s) — restam 413
-[avaliar-tudo] +23 avaliados, 2 sem diálogo, 0 erros (377s) — restam 388
-[avaliar-tudo] +25 avaliados, 0 sem diálogo, 0 erros (457s) — restam 363
-[avaliar-tudo] +24 avaliados, 1 sem diálogo, 0 erros (439s) — restam 338
-[avaliar-tudo] +25 avaliados, 0 sem diálogo, 0 erros (408s) — restam 313
-[avaliar-tudo] +22 avaliados, 3 sem diálogo, 0 erros (394s) — restam 320
-[avaliar-tudo] +23 avaliados, 2 sem diálogo, 0 erros (432s) — restam 295
-[avaliar-tudo] +22 avaliados, 3 sem diálogo, 0 erros (313s) — restam 289
-[avaliar-tudo] +21 avaliados, 4 sem diálogo, 0 erros (385s) — restam 264
-[avaliar-tudo] +24 avaliados, 1 sem diálogo, 0 erros (384s) — restam 263
-[avaliar-tudo] +25 avaliados, 0 sem diálogo, 0 erros (349s) — restam 252
-[avaliar-tudo] +20 avaliados, 5 sem diálogo, 0 erros (296s) — restam 227
-[avaliar-tudo] +23 avaliados, 2 sem diálogo, 0 erros (342s) — restam 201
-[avaliar-tudo] +23 avaliados, 2 sem diálogo, 0 erros (363s) — restam 176
-[avaliar-tudo] +24 avaliados, 1 sem diálogo, 0 erros (326s) — restam 151
-[avaliar-tudo] +24 avaliados, 1 sem diálogo, 0 erros (443s) — restam 157
-[avaliar-tudo] +24 avaliados, 1 sem diálogo, 0 erros (446s) — restam 149
-[avaliar-tudo] +19 avaliados, 6 sem diálogo, 0 erros (306s) — restam 124
-[avaliar-tudo] +22 avaliados, 3 sem diálogo, 0 erros (325s) — restam 99
-[avaliar-tudo] +22 avaliados, 3 sem diálogo, 0 erros (297s) — restam 88
-[avaliar-tudo] +15 avaliados, 10 sem diálogo, 0 erros (222s) — restam 78
-[avaliar-tudo] +23 avaliados, 2 sem diálogo, 0 erros (453s) — restam 53
-[avaliar-tudo] +22 avaliados, 3 sem diálogo, 0 erros (322s) — restam 46
-[avaliar-tudo] +24 avaliados, 1 sem diálogo, 0 erros (425s) — restam 21
-[avaliar-tudo] +19 avaliados, 2 sem diálogo, 0 erros (299s) — restam 0
-[avaliar-tudo] fila zerada

+ 1 - 1
training/treinar_lora_mlx.sh

@@ -13,7 +13,7 @@ ADAPTER_DIR="adapters"
 EPOCAS="${1:-3}"
 
 if [[ ! -f "$DATA_DIR/train.jsonl" ]]; then
-  echo "ERRO: $DATA_DIR/train.jsonl não existe. Rode antes: cd ../backend && node scripts/exportarDatasetTreinamento.js" >&2
+  echo "ERRO: $DATA_DIR/train.jsonl não existe. Rode antes: cd .. && node scripts/exportarDatasetTreinamento.js" >&2
   exit 1
 fi