Add main README

README.md

@@ -0,0 +1,160 @@
+---
+license: apache-2.0
+base_model: Tesslate/OmniCoder-9B
+tags:
+  - qwen3.5
+  - lora
+  - sft
+  - reasoning
+  - coding
+  - gguf
+  - omnicoder
+language:
+  - en
+  - es
+library_name: transformers
+---
+
+# Slopus 9B
+
+**Pipeline experimental de fine-tuning sobre `Tesslate/OmniCoder-9B` (Qwen3.5-9B + 425K trazas Opus agenticas).**
+
+Dos fases de LoRA encadenadas: primero una capa fina de coding agentico, despues una segunda capa mas pesada de razonamiento puro de Opus 4.6.
+
+![pipeline](slopus_pipeline.png)
+
+## Indice
+1. [Resumen](#resumen)
+2. [Pipeline en 5 pasos](#pipeline-en-5-pasos)
+3. [Fase 1 — LoRA r=8 sobre OmniCoder-9B](#fase-1)
+4. [Fase 2 — LoRA r=128 sobre merge fase 1](#fase-2)
+5. [Costos](#costos)
+6. [Quants disponibles](#quants-disponibles)
+7. [Uso con llama-server](#uso-con-llama-server)
+8. [Limitaciones](#limitaciones)
+9. [Datasets y agradecimientos](#datasets-y-agradecimientos)
+
+## Resumen
+
+| | Fase 1 | Fase 2 |
+|---|--------|--------|
+| Dataset | `Kukedlc/omnicoder-train` (16K, coding agentico) | `Kukedlc/omnicoder-fase2-reasoning` (24K, Opus 4.6 reasoning, derivado de [`Gryphe/Opus-4.6-Reasoning-24k`](https://huggingface.co/datasets/Gryphe/Opus-4.6-Reasoning-24k)) |
+| Base | `Tesslate/OmniCoder-9B` | `Tesslate/OmniCoder-9B` + Fase 1 LoRA mergeada (fp16) |
+| LoRA rank / alpha | r=8, alpha=16 | r=128, alpha=256 |
+| Targets | q,k,v,o,gate,up,down,**out_proj** (GDN) | igual + r mucho mas alto |
+| Epochs | 2 | 2 |
+| Steps totales | 506 | 758 |
+| Batch effective | 16 (batch=8, GA=8) | 64 (batch=16, GA=4) |
+| LR | 2e-4 | 1e-4 (mas bajo, base ya fine-tuneado) |
+| Max seq | 2048 | 4096 |
+| Hardware train | RunPod H100 80GB SXM Secure | RunPod H100 80GB SXM Secure |
+| Tiempo aproximado | ~1.5h | ~4.8h |
+| Loss inicial → final | 1.14 → 0.88 (**-23.1%**) | 1.03 → 0.88 (**-14.3%**) |
+
+## Pipeline en 5 pasos
+
+1. **Base**: [`Tesslate/OmniCoder-9B`](https://huggingface.co/Tesslate/OmniCoder-9B) — Qwen3.5-9B con arquitectura híbrida GDN (Gated Delta Networks) fine-tuneada por Tesslate con 425K trazas Opus de coding agentico.
+2. **Fase 1 LoRA r=8 alpha=16** sobre la base, dataset `Kukedlc/omnicoder-train`. 2 epochs, 506 steps. Adapter resultante: [`Kukedlc/omnicoder-9b-lora`](https://huggingface.co/Kukedlc/omnicoder-9b-lora) (checkpoints 100/200/300/400/500/506).
+3. **Merge Fase 1**: base + adapter Fase 1 → modelo HF fp16 de ~18 GB (no publicado, solo usado como base interna para Fase 2).
+4. **Fase 2 LoRA r=128 alpha=256** sobre el merge anterior, dataset `Kukedlc/omnicoder-fase2-reasoning` (rendereado de Gryphe Opus reasoning con `<think>` inline). 2 epochs, 758 steps. Adapter resultante: [`Kukedlc/omnicoder-9b-fase2-lora`](https://huggingface.co/Kukedlc/omnicoder-9b-fase2-lora) (checkpoints 100/200/.../758).
+5. **Merge Fase 2 + Quantize** con `llama.cpp` tag `b8292` (commit `b54124110`) — el master nuevo y otras versiones NO soportan correctamente la arquitectura GDN híbrida de Qwen3.5 y fallan con `missing tensor 'blk.32.attn_norm.weight'`. Quants generados: Q2_K, Q3_K_M, Q4_K_M, Q6_K, Q8_0.
+
+## Fase 1
+
+![fase1](slopus_fase1_loss.png)
+
+LoRA conservador (r=8 alpha=16) sobre OmniCoder-9B para introducir un primer ajuste de estilo en el dominio que nos interesa antes de la inyeccion mas agresiva de Fase 2. La idea: no romper la base con un LoRA gigante en el primer paso.
+
+**Observacion**: la loss baja MÁS en epoch 2 que en epoch 1 (10% epoch 1 vs 15% epoch 2), señal de que la base seguia teniendo capacidad de aprender — no overfitting.
+
+## Fase 2
+
+![fase2](slopus_fase2_loss.png)
+
+LoRA de capacidad alta (r=128 alpha=256, 258M trainable params = 2.67% del 9B) sobre el merge de Fase 1, con dataset de razonamiento puro de Opus 4.6 (24K ejemplos chat con `reasoning_content` separado, rendereados como `<think>X</think>content` inline para el chat_template de Qwen3.5).
+
+LR bajado a 1e-4 (vs 2e-4 fase 1) porque el modelo ya estaba fine-tuneado. Cosine scheduler con 20 warmup steps.
+
+**Sampling parameters recomendados** (de Qwen3.6 model card, validos para Qwen3.5):
+
+| Modo | temp | top_p | pres_pen | top_k | min_p |
+|------|------|-------|----------|-------|-------|
+| Thinking general | 1.0 | 0.95 | 1.5 | 20 | 0 |
+| Thinking coding | 0.6 | 0.95 | 0.0 | 20 | 0 |
+| Instruct general | 0.7 | 0.80 | 1.5 | 20 | 0 |
+
+## Costos
+
+| Item | Tiempo | Costo |
+|------|--------|-------|
+| Train Fase 1 H100 SXM Secure ($3.29/h) | ~1.5h | ~$4.95 |
+| Train Fase 2 H100 SXM Secure ($3.29/h) | ~4.8h | ~$15.8 |
+| Merge intermedios + quantize local (3090) | ~2h | $0 (local) |
+| Storage HF (XET turbo) | - | $0 |
+| **Total compute pago** | ~6.3h cloud | **~$20.75** |
+
+## Quants disponibles
+
+| Quant | Tamano | Uso recomendado |
+|-------|--------|------------------|
+| `Slopus-9B-Q2_K.gguf` | ~3.6 GB | Solo si VRAM <6 GB. Calidad notablemente menor. |
+| `Slopus-9B-Q3_K_M.gguf` | ~4.5 GB | VRAM ~6 GB. Compromiso ajustado. |
+| **`Slopus-9B-Q4_K_M.gguf`** | **~5.5 GB** | **Sweet spot, default recomendado**. VRAM 8 GB+ |
+| `Slopus-9B-Q6_K.gguf` | ~7.5 GB | Calidad casi perfecta. VRAM 10 GB+ |
+| `Slopus-9B-Q8_0.gguf` | ~9.5 GB | Casi indistinguible de fp16. VRAM 12 GB+ |
+
+## Uso con llama-server
+
+**IMPORTANTE**: hay que usar `llama.cpp` tag `b8292` (commit `b54124110`). El master nuevo NO carga estos GGUF (falla con missing tensor por bug del converter+loader con la arquitectura GDN híbrida de Qwen3.5).
+
+```bash
+# Instalar llama.cpp en b8292
+git clone https://github.com/ggml-org/llama.cpp
+cd llama.cpp
+git checkout b8292
+cmake -B build -DGGML_CUDA=ON
+cmake --build build --target llama-quantize llama-server -j$(nproc)
+
+# Servir
+export LLAMA_CHAT_TEMPLATE_KWARGS='{"enable_thinking":true}'
+./build/bin/llama-server \
+    --model Slopus-9B-Q4_K_M.gguf \
+    -ngl 999 -fa on --no-mmap \
+    -c 65536 \
+    --parallel 4 \
+    --jinja --reasoning-format deepseek \
+    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 \
+    --presence-penalty 1.5 \
+    --port 12345
+```
+
+## Adapter LoRA fase 2 sin merge
+
+Si querés usar el adapter LoRA de fase 2 directo (sin el merge), está en este mismo repo bajo [`adapter/`](./adapter). Para cargarlo necesitas tener primero el merge de fase 1 — pero ese **NO está publicado** (no agrega valor frente al GGUF Q4_K_M directo). Si necesitás reproducir desde fase 1, tenes que repetir el merge tu mismo siguiendo el pipeline.
+
+## Limitaciones
+
+- **r=128 alpha=256 sobre 24K** es borderline de la regla de pulgar "r alto requiere dataset grande". El modelo NO mostro signos visibles de overfit (loss bajando hasta el final del epoch 2), pero sin eval set no se puede confirmar. Para usar produccion idealmente armar un benchmark out-of-distribution.
+- **GGUF requiere llama.cpp b8292** especifico. Versiones posteriores no cargan. Este modelo no es compatible con `Ollama` standard (que usa llama.cpp interno mas nuevo) — habria que parchear Ollama o usar `llama-server` directo.
+- **Aritmetica basica en Q4_K_M** puede tener errores (el modelo lista bien los terminos pero a veces suma mal). Usar Q6_K o Q8_0 para tasks que requieren precision numerica.
+- **Sin RLHF/DPO**. Solo SFT en ambas fases.
+
+## Datasets y agradecimientos
+
+- [`Tesslate/OmniCoder-9B`](https://huggingface.co/Tesslate/OmniCoder-9B) — base. Apache 2.0.
+- [`Gryphe/Opus-4.6-Reasoning-24k`](https://huggingface.co/datasets/Gryphe/Opus-4.6-Reasoning-24k) — fuente del dataset de razonamiento (rendereado a chat_template Qwen3.5 con `<think>` inline). Apache 2.0.
+- llama.cpp b8292 — Github ggml-org/llama.cpp, commit b54124110.
+- Unsloth para training eficiente bf16 LoRA.
+- bartowski por publicar GGUFs de OmniCoder-9B con b8292 que sirvieron como referencia para confirmar la version correcta.
+
+## Reproducir el experimento
+
+Scripts en [`Kukedlc/omnicoder-train`](https://huggingface.co/datasets/Kukedlc/omnicoder-train) dataset repo:
+- `train_omnicoder.py` — fase 1
+- `train_omnicoder_fase2.py` — fase 2
+- `setup_train.sh` / `setup_fase2.sh` — launchers en pod RunPod
+- `watcher_upload.sh` / `watcher_upload_fase2.sh` — auto upload de checkpoints
+
+## License
+
+Apache 2.0 — heredado de la base OmniCoder-9B y datasets Gryphe.