Ternary Bonsai 2 27B for onw โ 2 ใใใใฎ 27B ใ Intel NPU ใง๏ผLunar Lake ไปฅ้ๅฐ็จ๏ผ
ๆฅๆฌ่ช | English
Prism ML ใฎ Ternary-Bonsai-2-27B๏ผQwen3.8-27B ใไธๅคใฎ้ใฟใงๅญฆ็ฟใ็ดใใใขใใซ๏ผใใ**onw**๏ผไฟบใฎNPUใใใใชใซๅใใใใชใ๏ผ็จใซๅคๆใใใใฎใงใใ้ใฟใฏไธๅค๏ผโ1ใป0ใป+1๏ผใ 2 ใใใใฎใพใพ NPU ใซ่ผใใพใใ27B ใฎใขใใซใใใกใขใช 16 GB ใฎ Lunar Lake ใฎ NPU ใงๅใใพใใ
ใพใๆญใฃใฆใใใจใใใใฏๅฎ็จใจใใใใใญใใณใงใใ NPU ใง 27B ใๅใใใจใใใฎใ็ขบใใใใใใฎใขใใซใงใใๅ็ญใฏ 4 tok/s ๅๅพใงใใใใใใญใณใใใฎๅฆ็ใ 1 ใใผใฏใณใใคใชใฎใงใ้ทใๆ็ซ ใ่ฒผใใจ่ชญใฟ็ตใใใพใงใซไฝๅใใใใใพใ๏ผไธใฎใๅถ้ใใ่ชญใใงใใ ใใ๏ผใ็ญใ่ณชๅใๆใใฆใ27B ใฎ็ญใใใใฃใใ็บใใ็จ้ใซๅใใฆใใพใใ
Lunar Lake๏ผCore Ultra ใทใชใผใบ 2ใNPU 4000๏ผไปฅ้ใฎ NPU ๅฐ็จใงใใ 2 ใใใใฎ้ใฟใฏ NPU 4 ไปฅ้ใฎใใผใใฆใงใขใงใใ่จ็ฎใงใใใMeteor LakeใปArrow Lake๏ผNPU 3720๏ผใงใฏใณใณใใคใซใงใใพใใใonw ใฆใฃใณใใฆใฏ Lunar Lake ไปฅ้ใฎ PC ใงใ ใไธ่ฆงใซๅบใใพใใ
64 ใใผใฏใณ็จใฎใฐใฉใใฏ่ฉฆไฝใใใๅคฑๆ๏ผonw 3.2.0๏ผ
4Bใป9B ใฏ onw 3.2.0 ใง 64 ใใผใฏใณ็จใฎใฐใฉใ๏ผใใญใณใใใ 10 ๅไปฅไธ้ใๅฆ็๏ผใๅ ฅใใพใใใใ27B ใฏ่ฉฆไฝใใฆใๅบใใฎใใใใพใใใ
- ไฝใฃใฆๅใใใใจใฏใงใใพใใ๏ผPanther Lake ใงใใญใณใใ็ด 60 tok/sใ็ๆ็ด 4.5 tok/s๏ผใ
- ใใ ใ NPU ใฎใกใขใชใ 13.8 GB ไฝฟใใใกใขใช 16 GB ใฎ PC ใซ่ผใใพใใใ2 ใใใใฎ้ใฟใ NPU ใง่จ็ฎใใใซใฏใ128 ๅใฎ้ใฟใใจใซ 16 ใใคใใฎใ้ใฟใใผใใซใใใฐใฉใใใจใซๅฟ ่ฆใงใ27B ใงใฏใฐใฉใ 1 ็ตใใใ 3.4 GB ใซใชใใพใใ1 ใใผใฏใณ็จใจ 64 ใใผใฏใณ็จใฎ 2 ็ตใงใใใผใใซใ ใใง้ใฟ๏ผ6.8 GB๏ผใจๅใๅคงใใใงใใ
- ๅๅใฎใณใณใใคใซใ Panther Lake ใง 36 ๅใใใใพใใใ
ใใฎใใ 27B ใฏใใใใพใงใฉใใ 1 ใใผใฏใณ็จใฎใฐใฉใใ ใใงใใใใผใใซใๆใใใซๆธใๆนๆณใ Intel ใซ่ฆๆใใฆใใพใใ
ๆธฌๅฎ๏ผonw 1.4.9๏ผ
| Lunar Lake๏ผNPU 4000ใใกใขใช 16 GB๏ผ | Panther Lake๏ผNPU 5010ใใกใขใช 64 GB๏ผ | |
|---|---|---|
| ็ๆ้ๅบฆ๏ผๆ่ใชใ๏ผ | ็ด 4.2 tok/s | ็ด 3.9 tok/s |
| ใใญใณใใๅฆ็ | ็ด 4 tok/s๏ผ1 ใใผใฏใณใใค๏ผ | ็ด 4 tok/s๏ผ1 ใใผใฏใณใใค๏ผ |
| ไฝฟ็จใกใขใช๏ผใใญใปใน๏ผ | ็ด 9.6 GB | ็ด 9.9 GB |
| ๅๅ่ตทๅ๏ผNPU ๅใใณใณใใคใซ๏ผ | ็ด 10 ๅ | ็ด 2 ๆ้ๅ |
| 2 ๅ็ฎไปฅ้ใฎ่ตทๅ | ็ด 15 ็ง | ็ด 20 ็ง |
| ใใฆใณใญใผใ | 7.6 GB | 7.6 GB |
2 ๅฐใงใๅใ่ณชๅใซไธๅญไธๅฅๅใ็ญใใ่ฟใใพใใ๏ผๆฅๆฌ่ชใป่ฑ่ชใปไฟณๅฅใง็ขบ่ช๏ผใ
ๅถ้
- ใใญใณใใใฏ 1 ใใผใฏใณใใคๅฆ็ใใพใใ Intel ใฎ NPU ใณใณใใคใฉใผ๏ผ8.3ใป8.4๏ผใฏใ2 ใใใใฎ้ใฟใ่คๆฐใใผใฏใณใฎใใญใใฏใง่จ็ฎใใใจ็ตๆใ้้ใใพใ๏ผ1 ใใผใฏใณใชใๆญฃใใ๏ผใใใฎใใใใใฎใขใใซใซใฏ 1 ใใผใฏใณ็จใฎใฐใฉใใใๅ ฅใใฆใใพใใใ1,000 ใใผใฏใณใฎใใญใณใใใชใ 4 ๅใปใฉๅพ ใกใพใใไผ่ฉฑใฎ็ถใใฏๅๅใฎๅใๅๅฉ็จใใใฎใงใ2 ๅ็ฎไปฅ้ใฎ่ณชๅใฏๆฐใใๆธใใๅใ ใๅพ ใกใพใใใณใณใใคใฉใผใฎไธๅ ทๅใฏ onw ใฎ NPU ใญใใใง็ดใใพใใใใ64 ใใผใฏใณ็จใฎใฐใฉใใฏใกใขใชใซๅใพใใชใใใๅ ฅใใฆใใพใใ๏ผไธใฎใ่ฉฆไฝใใใๅคฑๆใ๏ผใ
- ๆ่๏ผreasoning๏ผใฏๆขๅฎใงใชใใซใใฆใใพใใBonsai 2 ใฏๆ่ใใชใณใซใใใจไฝๅใใผใฏใณใ่ใ็ถใใใใจใใใใใใฎ้ๅบฆใงใฏ็ญใใซใใฉใ็ใใพใใใๆ่ใไฝฟใใชใใใใฃใใ็ป้ขใฎๆ่ใฎๆฎต้ใใๅฐใใใใๆฎ้ใใซใใฆใใ ใใ๏ผใใฎใขใใซใฎใใณใใฌใผใใฏ lowใปmediumใปxhigh ใฎ 3 ๆฎต้ใงใใใใฃใใใใฏ xhigh ใซใชใใพใ๏ผใ
- MTP ๅ ่ชญใฟใปๅ ่ชญใฟๆค่จผ๏ผPLD๏ผใฏไฝฟใใพใใ๏ผใฉใกใใ่คๆฐใใผใฏใณใฎใใญใใฏใ่ฆใใใ๏ผใ
- ็ปๅใฏ่ชญใใพใใ๏ผๅ ใฎ Bonsai 2 ใซใฏ็ปๅใจใณใณใผใใผใไปใใฆใใพใใใใใฎใขใใซใซใฏๅ ฅใใฆใใพใใ๏ผใ
- ็ฒพๅบฆใฏใไธๅคใงๅญฆ็ฟใใ 27B ใฎ็ฒพๅบฆใงใใPrism ML ใฎ่ชฌๆใงใฏๅ ใฎ Qwen3.8-27B ใซ่ฟใใจใใใฆใใพใใใINT4 ใฎ 27B ใใใฏ่ฝใกใพใใ
ไป็ตใฟ
- ้ใฟ๏ผBonsai ใฎ MLX ็๏ผ2 ใใใใใฐใซใผใ 128๏ผใฎๅคใใใฎใพใพไฝฟใใOpenVINO ใฎ
u2ๅใฎๅฎๆฐใจใใฆ NPU ใซๆธกใใพใใ่ฉฐใ็ดใใๅ้ๅญๅใฏใใฆใใพใใ๏ผๆๅคฑใชใ๏ผใNPU ไธใงใฏ 2.125 ใใใ๏ผ้ใฟ๏ผไธๅค 2 ใใใ๏ผใฐใซใผใใใจใฎ f16 ใฎๅ็๏ผใงใ27B ใฎๅฑคใ 6.5 GB ใงใใ - ใขใใใผใซๅ่ปข๏ผBonsai 2 ใฏใ้ใฟใใใใญใใฏ 1,024 ใฎใฆใฉใซใทใฅใปใขใใใผใซๅคๆใงๅใใๅบๅบใใงๅญฆ็ฟใใฆใใพใใใใฎใใใ่กๅใฎๆใ็ฎใฎๅใซๅ ฅๅใๅใใใใซๅใๅฟ ่ฆใใใใonw ใฏใใใใฐใฉใใฎไธญใง่จ็ฎใใพใ๏ผ32ร32 ใฎ 2 ๆฎตใซๅใใๅฝขใ1 ๅฑคใใใใฎใณในใใฏ 1% ๆชๆบ๏ผใ
- ๅใ่พผใฟ๏ผๅใใ็ถๆ ใงไฟๅญใใใฆใใ่กใใ่ชญใฟ่พผใฟๆใซๅ ใฎๅบๅบใซๆปใใฆ INT8 ใฎ่กจใซใใฆใใพใ๏ผใในใๅดใงๅ็ ง๏ผใ
- ใใฎใปใใฏ Qwen3.5 ็ณปใฎ onw ใขใใซใจๅใไฝใใงใ๏ผGated DeltaNet๏ผใฒใผใไปใใขใใณใทใงใณใใใผใธๅผใฎ INT8 KV ใญใฃใใทใฅ๏ผใ่ฉณใใใฏ onw ใฎๆ่ก่งฃ่ชฌใ
ไฝฟใๆน
- onw 1.4.9 ไปฅ้ใๅ ฅใใพใ๏ผonw ใฎใใคใณในใใผใซใ๏ผใ
- onw ใฆใฃใณใใฆใฎใใขใใซใใฟใใง Ternary Bonsai 2 27B (2-bit) ใ้ธใณใใใใฆใณใญใผใใใๆผใใพใ๏ผLunar Lake ไปฅ้ใฎ PC ใงใ ใ่กจ็คบใใใพใ๏ผใ
- ใใตใผใใผใใฟใใงใใญใผใใใๅๅใฏ NPU ๅใใฎใณใณใใคใซใซ Lunar Lake ใง็ด 10 ๅใPanther Lake ใง็ด 2 ๆ้ๅใใใใพใใ
ไธ็ด่
ๅใ๏ผhf download ryugyosoft/Ternary-Bonsai-2-27B-onw ใงๅๅพใใใใฉใซใใ onw serve ใใฉใซใ ใง่ตทๅใงใใพใใ
ใฉใคใปใณใน
Apache-2.0๏ผๅ ใขใใซใจๅใ๏ผใ้ใฟใฏ Prism ML ใฎ Ternary-Bonsai-2-27B ใฎ 2 ใใใใฎๅคใใใฎใพใพไธฆใน็ดใใใใฎใงใๅญฆ็ฟใๅ้ๅญๅใใใฆใใพใใใCreated using Bonsai by Prism ML.
- Downloads last month
- 46
Model tree for ryugyosoft/Ternary-Bonsai-2-27B-onw
Base model
Qwen/Qwen3.8-27B