SalamandraTA-7B-instruct · AWQ 4 bits
Versió quantitzada a 4 bits del model de traducció BSC-LT/salamandraTA-7b-instruct (v3), creat per la Language Technologies Unit del Barcelona Supercomputing Center.
L'objectiu és poder servir el model amb vLLM en GPUs de 16–24 GB, amb un consum de memòria molt més baix que la versió original en bfloat16 i una velocitat semblant o superior. Les capacitats són les del model original: traducció general, traducció amb terminologia, traducció de text estructurat (HTML i XML), postedició i revisió gramatical, entre d'altres.
Detalls de la quantització
| Model original | BSC-LT/salamandraTA-7b-instruct (revisió d314d2f) |
| Mètode | AWQ amb llm-compressor 0.14.0 |
| Esquema | W4A16 asimètric: pesos a 4 bits, activacions a 16 bits |
| Capes sense quantitzar | lm_head |
| Format | compressed-tensors (vLLM el carrega directament) |
| Mida | 7,1 GB (l'original en bfloat16 ocupa uns 16 GB) |
Per calibrar s'han fet servir 256 mostres del corpus paral·lel anglès–català de projecte-aina/CA-EN_Parallel_Corpus, en format de conversa amb la plantilla del model: traduccions de text pla, traduccions de fragments HTML i revisions d'estil de textos en català.
Ús amb vLLM
vllm serve SorensenAI/salamandraTA-7b-instruct-AWQ --max-model-len 8192
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="-")
prompt = (
"Translate this Spanish text into Catalan. Preserve any formatting, tags, delimiters, "
"or structural elements exactly, and translate only the human-readable parts: "
"<p>Las inscripciones se hacen en la <strong>sede electrónica</strong>.</p>"
)
r = client.chat.completions.create(
model="SorensenAI/salamandraTA-7b-instruct-AWQ",
messages=[{"role": "user", "content": prompt}],
temperature=0,
)
print(r.choices[0].message.content)
Les plantilles de petició per a cada tasca són les de la fitxa del model original.
Qualitat
Aquesta versió no s'ha avaluat per separat. La quantització a 4 bits pot fer perdre una mica de qualitat respecte al model original; per a les mètriques de referència, vegeu la fitxa de SalamandraTA-7B-instruct.
Llicència
GPL-3.0, la mateixa que el model original, que inclou dades d'entrenament sota GPL-3.0.
Crèdits
El model original és obra de la Language Technologies Unit del Barcelona Supercomputing Center. Quantització publicada per Sorensen.
- Downloads last month
- 37