Hugging Face's logo

Luong23
/
bmg-m3-finetune-embedding

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
dense
Generated from Trainer
dataset_size:294194
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: BAAI/bge-m3
  • Maximum Sequence Length: 256 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity
  • Supported Modality: Text

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'bí quyết dưỡng tóc hiệu quả',
    'Tên sản phẩm: Dầu Gội Dược Liệu Nguyên Xuân Dưỡng Tóc Hương Bưởi 450ml. Danh mục: Chăm Sóc Mẹ. Thương hiệu: NGUYEN XUAN. Mô tả chi tiết: Khám phá bí quyết cho mái tóc óng mượt với Dầu gội Dược liệu Nguyên Xuân Dưỡng Tóc Hương Bưởi 450ml. Sản phẩm là sự hòa quyện hoàn hảo giữa các loại thảo dược quý và tinh dầu bưởi, mang đến khả năng dưỡng tóc vượt trội. Dầu gội giúp làm sạch nhẹ nhàng, loại bỏ bụi bẩn và bã nhờn, đồng thời cung cấp độ ẩm cần thiết, phục hồi tóc khô xơ, hư tổn. Hương bưởi thơm mát mang lại cảm giác thư giãn sảng khoái. Với dung tích 450ml, sản phẩm là người bạn đồng hành lý tưởng cho mái tóc luôn khỏe mạnh, mềm mại và tràn đầy sức sống. Thông tin bổ sung: kích thước/size 450ML, tags NGUYEN XUAN, 450ML.',
    'Tên sản phẩm: Lạp Xưởng Tươi LC Foods Hương Vị Đài Loan 250G. Danh mục: Sản Phẩm Từ Thịt. Thương hiệu: Việt Nam. Mô tả chi tiết: Lạp Xưởng Tươi LC Foods Hương Vị Đài Loan 250G mang đến trải nghiệm ẩm thực độc đáo với hương vị đặc trưng của Đài Loan. Sản phẩm được làm từ thịt heo tươi ngon, kết hợp cùng các gia vị truyền thống như rượu mai quế lộ, tiêu, tỏi, tạo nên hương vị thơm lừng, đậm đà. Lạp xưởng có thể chế biến nhanh chóng bằng cách chiên dầu hoặc nướng, rất thích hợp cho những bữa ăn nhanh hoặc làm phong phú thêm các món ăn gia đình. Bảo quản ở nhiệt độ 0-5 độ C trong ngăn mát tủ lạnh hoặc -18 độ C trong ngăn đá để giữ được hương vị tốt nhất. Sản phẩm 250G tiện lợi cho việc sử dụng và bảo quản. Thông tin bổ sung: chất liệu Thịt heo, chất ổn định, đường, muối, rượu mai quế lộ, tiêu, tỏi, chất điều vị, chất nhũ hóa, chất ch" />, kích thước/size 250G.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.5701, 0.0427],
#         [0.5701, 1.0000, 0.0436],
#         [0.0427, 0.0436, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

  • Size: 294,194 training samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 100 samples:
    anchor positive
    type string string
    modality text text
    details
    • min: 6 tokens
    • mean: 8.77 tokens
    • max: 16 tokens
    • min: 165 tokens
    • mean: 223.84 tokens
    • max: 256 tokens
  • Samples:
    anchor positive
    khăn lót vintage phong cảnh Tên sản phẩm: Set 4 Khăn Lót Đĩa Le Reve. Danh mục: Trang trí bàn ăn. Thương hiệu: Nhà Xinh. Mô tả chi tiết: Set 4 khăn lót đĩa Le Reve từ Nhà Xinh mang đến vẻ đẹp cổ điển và tinh tế cho bàn ăn của bạn. Được làm từ 100% vinyl cao cấp nhập khẩu từ Ý, mỗi chiếc khăn lót đĩa có kích thước 43,3 × 33 cm, nổi bật với họa tiết phong cảnh vintage trên nền be nhạt, gợi cảm giác như những bức khắc họa nghệ thuật. Sản phẩm không chỉ bảo vệ bề mặt bàn mà còn tạo chiều sâu và sự trang nhã cho không gian ẩm thực. Với phong cách Vintage và Classic European, bộ khăn lót đĩa này là lựa chọn hoàn hảo để nâng tầm trải nghiệm dùng bữa, phù hợp cho bộ chén đĩa hoặc khay phục vụ, cũng như lót dưới bộ tách trà hay bình nước.
    Nước xả Power100 3.2kg Tên sản phẩm: Túi Nước Giặt Xả POWER100 Hương Nước Hoa Pháp 3.2KG. Danh mục: Giặt giũ & Chăm sóc quần áo. Thương hiệu: Power100. Mô tả chi tiết: Nước giặt xả Power100 Hương Nước Hoa Pháp Quyến Rũ 3.2kg mang đến trải nghiệm giặt giũ vượt trội. Với hoạt chất làm sạch nguồn gốc thiên nhiên, sản phẩm không chỉ thân thiện với môi trường mà còn giúp quần áo lưu giữ hương nước hoa Pháp quyến rũ lên đến 72 giờ. Công thức tiên tiến giúp ngăn mùi ẩm mốc hiệu quả, ngay cả khi phơi trong nhà, đồng thời làm bền màu vải và dịu nhẹ với da tay. Nước giặt xả Power100 phù hợp cho cả giặt tay và máy giặt cửa trên, cửa trước, đảm bảo quần áo luôn sạch sẽ, thơm mát và bền màu. Thông tin bổ sung: màu Đam Mê, Quyến rũ, tags Power100, Việt Nam, Không.
    thay ruột mực cho bút máy Tên sản phẩm: Parker Ống Mực Xanh 1950384. Danh mục: Ruột Chì, Ruột Viết. Thương hiệu: Parker. Mô tả chi tiết: Ống mực xanh Parker 1950384 là giải pháp thay thế ruột mực tiện lợi, được thiết kế chuyên dụng cho các dòng bút máy Parker. Với khả năng ghép nối dễ dàng, bạn có thể thay mực nhanh chóng mọi lúc mọi nơi, tiết kiệm thời gian và công sức. Mực ER QUINK của Parker nổi bật với sắc xanh đậm, trơn tru và khô nhanh, hạn chế tối đa tình trạng nhòe mực trên giấy. Trải nghiệm những nét chữ uyển chuyển, đầy đặn và tận hưởng cảm giác mực đẹp mắt ngay khi ngòi bút chạm vào trang giấy. Sản phẩm là sự lựa chọn hoàn hảo để duy trì hiệu suất viết của bút máy Parker. Thông tin bổ sung: tags 20.11.
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Evaluation Dataset

Unnamed Dataset

  • Size: 15,483 evaluation samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 100 samples:
    anchor positive
    type string string
    modality text text
    details
    • min: 6 tokens
    • mean: 8.45 tokens
    • max: 15 tokens
    • min: 158 tokens
    • mean: 227.56 tokens
    • max: 256 tokens
  • Samples:
    anchor positive
    máy in brother màu sắc sống động Tên sản phẩm: Máy in phun màu đa năng Brother DCP-T730DW Wifi. Danh mục: Máy in Brother. Thương hiệu: Brother. Mô tả chi tiết: Nâng cao hiệu suất làm việc với Máy in phun màu đa năng Brother DCP-T730DW Wifi. Thiết bị đa chức năng này không chỉ in ấn màu sắc sống động mà còn scan và copy tiện lợi, kết nối không dây Wifi giúp bạn in ấn mọi lúc mọi nơi. Với thiết kế màu đen sang trọng, máy in Brother DCP-T730DW là giải pháp lý tưởng cho gia đình và văn phòng. Tận hưởng ưu đãi trả góp 0%, bảo hành 2 năm và chính sách 1 đổi 1 trong tháng đầu. Giao hàng nhanh chóng và lắp đặt đơn giản. Thông tin bổ sung: màu Đen, tags Máy in phun màu đa năng Brother DCP-T730DW Wifi, Máy in phun màu Brother DCP-T730DW Wifi, Máy in phun màu Brother DCP-T730DW Wifi, Máy in Máy in phun màu đa năng Brother DCP-T730DW Wifi, giá Máy in phun màu đa năng Brother DCP-T730DW Wifi, thông tin Máy in phun màu đa năng Brother DCP-T730DW Wifi.
    Simon Sinek sách kinh doanh hay Tên sản phẩm: Start With Why: How Great Leaders Inspire Everyone To Take Action. Danh mục: Business. Thương hiệu: Portfolio. Mô tả chi tiết: "Start With Why: How Great Leaders Inspire Everyone To Take Action" là cuốn sách truyền cảm hứng, thay đổi cuộc đời, khám phá bí quyết đằng sau thành công của các nhà lãnh đạo vĩ đại. Tác giả Simon Sinek đặt câu hỏi nền tảng: Tại sao một số người và tổ chức lại đổi mới, có ảnh hưởng và lợi nhuận hơn những người khác? Cuốn sách tiết lộ cách các nhà lãnh đạo kiệt xuất như Martin Luther King Jr., Steve Jobs hay anh em nhà Wright đều bắt đầu với "TẠI SAO". Họ nhận ra rằng khách hàng chỉ thực sự tin tưởng vào sản phẩm, dịch vụ hay ý tưởng khi họ hiểu rõ mục đích cốt lõi đằng sau nó. "Start With Why" cung cấp một khuôn khổ mạnh mẽ, giúp bạn xây dựng tổ chức, dẫn dắt phong trào và truyền cảm hứng cho mọi người bằng cách xác định và truyền đạt rõ ràng "TẠI SAO" của bạn.
    AI LED Display Anker có gì đặc biệt Tên sản phẩm: Sạc nhanh 3 cổng USB Type-C IQ5 GaN 160W Anker Prime A2687 AI LED Display. Danh mục: Adapter sạc Anker. Thương hiệu: Anker. Mô tả chi tiết: Trải nghiệm sức mạnh sạc siêu tốc với củ sạc Anker Prime A2687, sở hữu công nghệ GaN tiên tiến và công suất lên đến 160W. Thiết bị tích hợp 3 cổng USB Type-C, cho phép bạn nạp đầy năng lượng cho nhiều thiết bị cùng lúc một cách hiệu quả. Màn hình AI LED Display thông minh hiển thị chi tiết quá trình sạc, mang đến trải nghiệm tiện lợi và hiện đại. Sản phẩm chính hãng Anker, đảm bảo chất lượng và độ bền bỉ. An tâm mua sắm với chính sách giao hàng miễn phí toàn quốc trong 1 giờ và đổi 1 trong tháng đầu nếu có lỗi. Thông tin bổ sung: màu Bạc, tags Sạc nhanh 3 cổng USB Type-C IQ5 GaN 160W Anker Prime A2687 AI LED Display, Sạc nhanh 3 cổng Anker Prime A2687 AI LED Display, Adapter sạc Sạc nhanh 3 cổng USB Type-C IQ5 GaN 160W Anker Prime A2687 AI LED Display, giá Sạc nhanh 3 cổng USB Type-C IQ5 GaN 160W Anker Prime A2687 AI LED Display, thôn...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 64
  • num_train_epochs: 5
  • learning_rate: 2e-05
  • warmup_steps: 0.1
  • gradient_accumulation_steps: 2
  • fp16: True
  • per_device_eval_batch_size: 64
  • load_best_model_at_end: True
  • dataloader_num_workers: 4

All Hyperparameters

Click to expand
  • per_device_train_batch_size: 64
  • num_train_epochs: 5
  • max_steps: -1
  • learning_rate: 2e-05
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_steps: 0.1
  • optim: adamw_torch_fused
  • optim_args: None
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • optim_target_modules: None
  • gradient_accumulation_steps: 2
  • average_tokens_across_devices: True
  • max_grad_norm: 1.0
  • label_smoothing_factor: 0.0
  • bf16: False
  • fp16: True
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • use_liger_kernel: False
  • liger_kernel_config: None
  • use_cache: False
  • neftune_noise_alpha: None
  • torch_empty_cache_steps: None
  • auto_find_batch_size: False
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • include_num_input_tokens_seen: no
  • log_level: passive
  • log_level_replica: warning
  • disable_tqdm: False
  • project: huggingface
  • trackio_space_id: None
  • trackio_bucket_id: None
  • trackio_static_space_id: None
  • per_device_eval_batch_size: 64
  • prediction_loss_only: True
  • eval_on_start: False
  • eval_do_concat_batches: True
  • eval_use_gather_object: False
  • eval_accumulation_steps: None
  • include_for_metrics: []
  • batch_eval_metrics: False
  • save_only_model: False
  • save_on_each_node: False
  • enable_jit_checkpoint: False
  • push_to_hub: False
  • hub_private_repo: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_always_push: False
  • hub_revision: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • restore_callback_states_from_checkpoint: False
  • full_determinism: False
  • seed: 42
  • data_seed: None
  • use_cpu: False
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • dataloader_drop_last: False
  • dataloader_num_workers: 4
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • dataloader_prefetch_factor: None
  • remove_unused_columns: True
  • label_names: None
  • train_sampling_strategy: random
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • ddp_static_graph: None
  • ddp_backend: None
  • ddp_timeout: 1800
  • fsdp: None
  • fsdp_config: None
  • deepspeed: None
  • debug: []
  • skip_memory_metrics: True
  • do_predict: False
  • resume_from_checkpoint: None
  • warmup_ratio: None
  • local_rank: -1
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss
0.0218 50 0.9799 -
0.0435 100 0.6680 -
0.0653 150 0.5217 -
0.0870 200 0.4189 -
0.1088 250 0.3928 -
0.1305 300 0.3660 -
0.1523 350 0.3591 -
0.1740 400 0.3473 -
0.1958 450 0.3623 -
0.2175 500 0.3271 0.2777
0.2393 550 0.3283 -
0.2610 600 0.3192 -
0.2828 650 0.2971 -
0.3045 700 0.3062 -
0.3263 750 0.3215 -
0.3481 800 0.2932 -
0.3698 850 0.2808 -
0.3916 900 0.3010 -
0.4133 950 0.2745 -
0.4351 1000 0.2889 0.2442
0.4568 1050 0.3105 -
0.4786 1100 0.2872 -
0.5003 1150 0.2814 -
0.5221 1200 0.2863 -
0.5438 1250 0.2796 -
0.5656 1300 0.2920 -
0.5873 1350 0.2725 -
0.6091 1400 0.2690 -
0.6308 1450 0.2693 -
0.6526 1500 0.2882 0.2324
0.6744 1550 0.2547 -
0.6961 1600 0.2655 -
0.7179 1650 0.2654 -
0.7396 1700 0.2685 -
0.7614 1750 0.2645 -
0.7831 1800 0.2635 -
0.8049 1850 0.2616 -
0.8266 1900 0.2810 -
0.8484 1950 0.2539 -
0.8701 2000 0.2476 0.2149
0.8919 2050 0.2517 -
0.9136 2100 0.2331 -
0.9354 2150 0.2490 -
0.9571 2200 0.2629 -
0.9789 2250 0.2625 -
1.0004 2300 0.2345 -
1.0222 2350 0.2106 -
1.0439 2400 0.2151 -
1.0657 2450 0.2018 -
1.0874 2500 0.2099 0.2113
1.1092 2550 0.2241 -
1.1310 2600 0.2242 -
1.1527 2650 0.2103 -
1.1745 2700 0.2094 -
1.1962 2750 0.2190 -
1.2180 2800 0.2295 -
1.2397 2850 0.2108 -
1.2615 2900 0.2094 -
1.2832 2950 0.2088 -
1.3050 3000 0.2057 0.2068
1.3267 3050 0.2101 -
1.3485 3100 0.2090 -
1.3702 3150 0.2145 -
1.3920 3200 0.2074 -
1.4137 3250 0.2149 -
1.4355 3300 0.2090 -
1.4573 3350 0.2183 -
1.4790 3400 0.2085 -
1.5008 3450 0.2075 -
1.5225 3500 0.2012 0.1989
1.5443 3550 0.2001 -
1.5660 3600 0.2109 -
1.5878 3650 0.2032 -
1.6095 3700 0.2047 -
1.6313 3750 0.2010 -
1.6530 3800 0.2020 -
1.6748 3850 0.2106 -
1.6965 3900 0.2031 -
1.7183 3950 0.2079 -
1.7400 4000 0.2018 0.1961
1.7618 4050 0.1971 -
1.7836 4100 0.2029 -
1.8053 4150 0.2035 -
1.8271 4200 0.2040 -
1.8488 4250 0.2013 -
1.8706 4300 0.2109 -
1.8923 4350 0.1985 -
1.9141 4400 0.2022 -
1.9358 4450 0.1989 -
1.9576 4500 0.2024 0.1911
1.9793 4550 0.2092 -
2.0009 4600 0.1997 -
2.0226 4650 0.1661 -
2.0444 4700 0.1595 -
2.0661 4750 0.1625 -
2.0879 4800 0.1761 -
2.1096 4850 0.1594 -
2.1314 4900 0.1650 -
2.1531 4950 0.1716 -
2.1749 5000 0.1710 0.1917
2.1966 5050 0.1676 -
2.2184 5100 0.1657 -
2.2402 5150 0.1682 -
2.2619 5200 0.1760 -
2.2837 5250 0.1777 -
2.3054 5300 0.1675 -
2.3272 5350 0.1658 -
2.3489 5400 0.1743 -
2.3707 5450 0.1698 -
2.3924 5500 0.1731 0.1906
2.4142 5550 0.1628 -
2.4359 5600 0.1716 -
2.4577 5650 0.1583 -
2.4794 5700 0.1741 -
2.5012 5750 0.1642 -
2.5229 5800 0.1597 -
2.5447 5850 0.1796 -
2.5665 5900 0.1714 -
2.5882 5950 0.1537 -
2.6100 6000 0.1696 0.1866
2.6317 6050 0.1754 -
2.6535 6100 0.1755 -
2.6752 6150 0.1628 -
2.6970 6200 0.1617 -
2.7187 6250 0.1557 -
2.7405 6300 0.1607 -
2.7622 6350 0.1717 -
2.7840 6400 0.1695 -
2.8057 6450 0.1695 -
2.8275 6500 0.1624 0.1849
2.8492 6550 0.1747 -
2.8710 6600 0.1768 -
2.8928 6650 0.1662 -
2.9145 6700 0.1646 -
2.9363 6750 0.1676 -
2.9580 6800 0.1627 -
2.9798 6850 0.1622 -
3.0013 6900 0.1649 -
3.0231 6950 0.1473 -
3.0448 7000 0.1462 0.1850
3.0666 7050 0.1392 -
3.0883 7100 0.1434 -
3.1101 7150 0.1464 -
3.1318 7200 0.1463 -
3.1536 7250 0.1446 -
3.1753 7300 0.1405 -
3.1971 7350 0.1465 -
3.2188 7400 0.1449 -
3.2406 7450 0.1470 -
3.2623 7500 0.1324 0.1847
3.2841 7550 0.1476 -
3.3059 7600 0.1481 -
3.3276 7650 0.1306 -
3.3494 7700 0.1441 -
3.3711 7750 0.1460 -
3.3929 7800 0.1483 -
3.4146 7850 0.1444 -
3.4364 7900 0.1529 -
3.4581 7950 0.1483 -
3.4799 8000 0.1443 0.1829
3.5016 8050 0.1369 -
3.5234 8100 0.1393 -
3.5451 8150 0.1463 -
3.5669 8200 0.1400 -
3.5886 8250 0.1385 -
3.6104 8300 0.1414 -
3.6322 8350 0.1511 -
3.6539 8400 0.1423 -
3.6757 8450 0.1420 -
3.6974 8500 0.1371 0.1805
3.7192 8550 0.1488 -
3.7409 8600 0.1400 -
3.7627 8650 0.1425 -
3.7844 8700 0.1461 -
3.8062 8750 0.1531 -
3.8279 8800 0.1399 -
3.8497 8850 0.1503 -
3.8714 8900 0.1434 -
3.8932 8950 0.1373 -
3.9149 9000 0.1354 0.1800
3.9367 9050 0.1512 -
3.9585 9100 0.1436 -
3.9802 9150 0.1317 -
4.0017 9200 0.1456 -
4.0235 9250 0.1228 -
4.0452 9300 0.1274 -
4.0670 9350 0.1259 -
4.0888 9400 0.1236 -
4.1105 9450 0.1281 -
4.1323 9500 0.1327 0.1802
4.1540 9550 0.1246 -
4.1758 9600 0.1304 -
4.1975 9650 0.1147 -
4.2193 9700 0.1297 -
4.2410 9750 0.1242 -
4.2628 9800 0.1295 -
4.2845 9850 0.1265 -
4.3063 9900 0.1317 -
4.3280 9950 0.1289 -
4.3498 10000 0.1281 0.1783
4.3715 10050 0.1274 -
4.3933 10100 0.1319 -
4.4151 10150 0.1258 -
4.4368 10200 0.1362 -
4.4586 10250 0.1320 -
4.4803 10300 0.1309 -
4.5021 10350 0.1294 -
4.5238 10400 0.1217 -
4.5456 10450 0.1290 -
4.5673 10500 0.1218 0.1781
4.5891 10550 0.1212 -
4.6108 10600 0.1237 -
4.6326 10650 0.1293 -
4.6543 10700 0.1288 -
4.6761 10750 0.1320 -
4.6978 10800 0.1209 -
4.7196 10850 0.1234 -
4.7414 10900 0.1223 -
4.7631 10950 0.1273 -
4.7849 11000 0.1262 0.1777
4.8066 11050 0.1358 -
4.8284 11100 0.1245 -
4.8501 11150 0.1221 -
4.8719 11200 0.1290 -
4.8936 11250 0.1256 -
4.9154 11300 0.1305 -
4.9371 11350 0.1251 -
4.9589 11400 0.1191 -
4.9806 11450 0.1256 -
5.0 11495 - 0.1772
  • The bold row denotes the saved checkpoint.

Training Time

  • Training: 4.6 hours
  • Evaluation: 18.4 minutes
  • Total: 4.9 hours

Framework Versions

  • Python: 3.12.3
  • Sentence Transformers: 5.7.0
  • Transformers: 5.14.1
  • PyTorch: 2.8.0+cu128
  • Accelerate: 1.14.0
  • Datasets: 5.0.1
  • Tokenizers: 0.22.2

Additional Resources

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}
Downloads last month
720
Safetensors
Model size
0.6B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Luong23/bmg-m3-finetune-embedding

Base model

BAAI/bge-m3
Finetuned
(548)
this model

Papers for Luong23/bmg-m3-finetune-embedding