Instructions to use speakleash/Bielik-11B-v2.2-Instruct with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use speakleash/Bielik-11B-v2.2-Instruct with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="speakleash/Bielik-11B-v2.2-Instruct")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("speakleash/Bielik-11B-v2.2-Instruct")
model = AutoModelForCausalLM.from_pretrained("speakleash/Bielik-11B-v2.2-Instruct", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use speakleash/Bielik-11B-v2.2-Instruct with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "speakleash/Bielik-11B-v2.2-Instruct"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "speakleash/Bielik-11B-v2.2-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/speakleash/Bielik-11B-v2.2-Instruct

SGLang

How to use speakleash/Bielik-11B-v2.2-Instruct with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "speakleash/Bielik-11B-v2.2-Instruct" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "speakleash/Bielik-11B-v2.2-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "speakleash/Bielik-11B-v2.2-Instruct" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "speakleash/Bielik-11B-v2.2-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use speakleash/Bielik-11B-v2.2-Instruct with Docker Model Runner:
```
docker model run hf.co/speakleash/Bielik-11B-v2.2-Instruct
```

Wersja ONNX ?

by quicksln - opened Aug 28, 2024

Discussion

quicksln

Aug 28, 2024

Cześć.

Na początku chciałbym pogratulować całemu zespołowi release i podziękować za pracę.
Pytanie, czy istnieje szansa na wersję Bielik-11B-v2.2-Instruct w formacie ONNX ?

Pozdrawiam

Remek

SpeakLeash | Spichlerz org Aug 28, 2024

Cześć,
wielkie dzięki. Możemy zrobić. Możesz nam zdradzić na jakiej platformie będziesz chciał to uruchomić? Windows .net?
Pozdrawiamy

Remek

SpeakLeash | Spichlerz org Aug 28, 2024

Jeszcze tylko jaka wersja Ciebie interesuje?
A. 16bit, 4bit
B. CUDA czy CPU? :)

quicksln

Aug 30, 2024

Cześć
Dzięki za szybką odpowiedź.

Planuję podłączyć Bielika offline do aplikacji .NET przy użyciu ONNX i sprawdzić, jak działa lokalnie.

Systemy operacyjne: Windows Server 2022 i Windows 11.

Maszyny do testów – z waszego doświadczenia dadzą radę?:

i9‑14900KF/96GB/RTX4070
AMDRyzen75800H/64GB/RTX3060

Na razie CUDA i 4bit to testów.

Remek

SpeakLeash | Spichlerz org Aug 30, 2024

Cześć,
proszę bardzo: https://huggingface.co/speakleash/Bielik-11B-v2.2-Instruct-onnx-fp16 - zrobiliśmy fp16. Proszę dać znać czy dobrze pracuje, jeśli tak zrobimy wersję również 4bit.

Pozdrawiam

pigwa88

Nov 19, 2024

Cześć
Dzięki za szybką odpowiedź.

Planuję podłączyć Bielika offline do aplikacji .NET przy użyciu ONNX i sprawdzić, jak działa lokalnie.

Systemy operacyjne: Windows Server 2022 i Windows 11.

Maszyny do testów – z waszego doświadczenia dadzą radę?:

i9‑14900KF/96GB/RTX4070

AMDRyzen75800H/64GB/RTX3060

Na razie CUDA i 4bit to testów.

No i gdzie jest ten feedback? Daj znać, bo jest więcej zainteresowanych. ;)

gblogic

Oct 24, 2025

•

edited Oct 24, 2025

Cześć, a możecie dorzucić plik genai_config.json bez tego nie jestem wstanie wczytać modelu do Microsoft.ML.OnnxRuntimeGenAI.Cuda, a nie mam kompetencji żeby wytworzyć ten plik manulanie :)

I ta wersja największa by się przydała :)

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment