Vietnamese Embedding

https://huggingface.co/AITeamVN/Vietnamese_Embedding
Admin
Vietnamese Embedding is an embedding model fine-tuned from the BGE-M3 model to enhance retrieval...
Tokens:88,090
Snippets:1,554
Trust Score:10
Update:3 months ago
Show doc for...
Tokens:
Raw
### Advanced usage with sequence length and similarity calculation

Source: https://huggingface.co/AITeamVN/Vietnamese_Embedding/blame/08067cd21f562700e8c44294f9799bcbaca96a6a/README.md

Example demonstrating setting the maximum sequence length and performing matrix multiplication for similarity.

```python
from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer("AITeamVN/Vietnamese_Embedding")
model.max_seq_length = 2048
sentences_1 = ["Trí tuệ nhân tạo là gì", "Lợi ích của giấc ngủ"]
sentences_2 = ["Trí tuệ nhân tạo là công nghệ giúp máy móc suy nghĩ và học hỏi như con người. Nó hoạt động bằng cách thu thập dữ liệu, nhận diện mẫu và đưa ra quyết định.", 
               "Giấc ngủ giúp cơ thể và não bộ nghỉ ngơi, hồi phục năng lượng và cải thiện trí nhớ. Ngủ đủ giấc giúp tinh thần tỉnh táo và làm việc hiệu quả hơn."]
query_embedding = model.encode(sentences_1)
doc_embeddings = model.encode(sentences_2)
print(similarity = query_embedding @ doc_embeddings.T)
'''
array([[0.66212064, 0.33066642],
       [0.25866613, 0.5865289 ]], dtype=float32)
'''
```

--------------------------------

### Vector Database Wrapper

Source: https://huggingface.co/AITeamVN/Vietnamese_Embedding/commit/c2e7c2a8e8d1b4a9dbe44b8f39014d7103dfeec6

Manages vector database initialization, local loading, and retrieval configuration.

```python
class VectorDB:
"""Vector database for document retrieval."""

def __init__(
self,
documents: List[Document],
embedding: Embeddings,
vector_db=FAISS,
index_path: Optional[str] = None
) -> None:
self.vector_db = vector_db
self.embedding = embedding
self.index_path = index_path
self.db = self._build_db(documents)

def _build_db(self, documents: List[Document]):
if self.index_path:
db = self.vector_db.load_local(
self.index_path,
self.embedding,
allow_dangerous_deserialization=True
)
else:
db = self.vector_db.from_documents(
documents=documents,
embedding=self.embedding,
distance_strategy=DistanceStrategy.DOT_PRODUCT
)
return db

def get_retriever(self, search_type: str = "similarity", search_kwargs: dict = {"k": 10}):
retriever = self.db.as_retriever(search_type=search_type, search_kwargs=search_kwargs)
return retriever

def save_local(self, folder_path: str) -> None:
self.db.save_local(folder_path)
```

--------------------------------

### Calculate sentence similarity with custom sequences

Source: https://huggingface.co/AITeamVN/Vietnamese_Embedding/commit/a5fa2bb3e8d42d7bc2ed4f41c042a87cc4dff394

Example demonstrating how to set the maximum sequence length and compute similarity between query and document embeddings.

```python
model = SentenceTransformer("AITeamVN/Vietnamese_Embedding")
model.max_seq_length = 2048
sentences_1 = ["Trí tuệ nhân tạo là gì", "Lợi ích của giấc ngủ"]
sentences_2 = ["Trí tuệ nhân tạo là công nghệ giúp máy móc suy nghĩ và học hỏi như con người. Nó hoạt động bằng cách thu thập dữ liệu, nhận diện mẫu và đưa ra quyết định.", 
"Giấc ngủ giúp cơ thể và não bộ nghỉ ngơi, hồi phục năng lượng và cải thiện trí nhớ. Ngủ đủ giấc giúp tinh thần tỉnh táo và làm việc hiệu quả hơn."]
query_embedding = model.encode(sentences_1)
doc_embeddings = model.encode(sentences_2)
print(similarity = query_embedding @ doc_embeddings.T)
'''
array([[0.66212064, 0.33066642],
[0.25866613, 0.5865289 ]], dtype=float32)
'''
```

--------------------------------

### Model configuration file

Source: https://huggingface.co/AITeamVN/Vietnamese_Embedding/blob/0386e447c53eeb1534b965348b1cfdaa5ca2bfee/config_sentence_transformers.json

Displays the versioning information for the model's dependencies.

```json
{
  "__version__": {
  "sentence_transformers": "2.6.1",
  "transformers": "4.49.0",
  "pytorch": "2.6.0+cu124"
  },
  "prompts": {},
  "default_prompt_name": null
 }
```

--------------------------------

### Advanced Inference with Custom Sequence Length

Source: https://huggingface.co/AITeamVN/Vietnamese_Embedding/blame/17a88ad3f6ea946f7545dd55501ac68f3ce0c325/README.md

Usage example demonstrating how to set the maximum sequence length to 2048 and perform dot product similarity calculation.

```python
from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer("AITeamVN/Vietnamese_Embedding")
model.max_seq_length = 2048
sentences_1 = ["Trí tuệ nhân tạo là gì", "Lợi ích của giấc ngủ"]
sentences_2 = ["Trí tuệ nhân tạo là công nghệ giúp máy móc suy nghĩ và học hỏi như con người. Nó hoạt động bằng cách thu thập dữ liệu, nhận diện mẫu và đưa ra quyết định.", 
               "Giấc ngủ giúp cơ thể và não bộ nghỉ ngơi, hồi phục năng lượng và cải thiện trí nhớ. Ngủ đủ giấc giúp tinh thần tỉnh táo và làm việc hiệu quả hơn."]
query_embedding = model.encode(sentences_1)
doc_embeddings = model.encode(sentences_2)
similarity = query_embedding @ doc_embeddings.T
print(similarity)

'''
array([[0.66212064, 0.33066642],
       [0.25866613, 0.5865289 ]], dtype=float32)
'''
```

--------------------------------

### Initialize and compute similarity with sentence-transformers

Source: https://huggingface.co/AITeamVN/Vietnamese_Embedding/blame/1d3220cbafef127899a8dd35c47faa437b632a03/README.md

Demonstrates loading the model and calculating similarity between sentences using the sentence-transformers library.

```python
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("AITeamVN/Vietnamese_Embedding")

sentences = [
    "The weather is lovely today.",
    "It's so sunny outside!",
    "He drove to the stadium."
]
embeddings = model.encode(sentences)

similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

```python
from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer("AITeamVN/Vietnamese_Embedding")
model.max_seq_length = 2048
sentences_1 = ["Trí tuệ nhân tạo là gì", "Lợi ích của giấc ngủ"]
sentences_2 = ["Trí tuệ nhân tạo là công nghệ giúp máy móc suy nghĩ và học hỏi như con người. Nó hoạt động bằng cách thu thập dữ liệu, nhận diện mẫu và đưa ra quyết định.", 
               "Giấc ngủ giúp cơ thể và não bộ nghỉ ngơi, hồi phục năng lượng và cải thiện trí nhớ. Ngủ đủ giấc giúp tinh thần tỉnh táo và làm việc hiệu quả hơn."]
query_embedding = model.encode(sentences_1)
doc_embeddings = model.encode(sentences_2)
similarity = query_embedding @ doc_embeddings.T
print(similarity)

'''
array([[0.66212064, 0.33066642],
       [0.25866613, 0.5865289 ]], dtype=float32)
'''
```

--------------------------------

### Model configuration metadata

Source: https://huggingface.co/AITeamVN/Vietnamese_Embedding/blame/0386e447c53eeb1534b965348b1cfdaa5ca2bfee/config_sentence_transformers.json

Displays the versioning and prompt configuration for the model.

```json
{
  "__version__": {
    "sentence_transformers": "2.6.1",
    "transformers": "4.49.0",
    "pytorch": "2.6.0+cu124"
  },
  "prompts": {},
  "default_prompt_name": null
}
```

--------------------------------

### Run evaluation script

Source: https://huggingface.co/AITeamVN/Vietnamese_Embedding/blame/32ac494aa1de0f47f0db3ede2dca49cb0b683d9a/README.md

Execute the evaluation process using the provided Python script after downloading the necessary data from Kaggle.

```bash
python evaluation_model.py
```

--------------------------------

### Model configuration parameters

Source: https://huggingface.co/AITeamVN/Vietnamese_Embedding/blame/0386e447c53eeb1534b965348b1cfdaa5ca2bfee/config.json

JSON configuration file defining the architecture and hyperparameters for the XLM-RoBERTa based model.

```json
{
  "_name_or_path": "/AITeamVN/bge_vi_2048",
  "architectures": [
    "XLMRobertaModel"
  ],
  "attention_probs_dropout_prob": 0.1,
  "bos_token_id": 0,
  "classifier_dropout": null,
  "eos_token_id": 2,
  "hidden_act": "gelu",
  "hidden_dropout_prob": 0.1,
  "hidden_size": 1024,
  "initializer_range": 0.02,
  "intermediate_size": 4096,
  "layer_norm_eps": 1e-05,
  "max_position_embeddings": 8194,
  "model_type": "xlm-roberta",
  "num_attention_heads": 16,
  "num_hidden_layers": 24,
  "output_past": true,
  "pad_token_id": 1,
  "position_embedding_type": "absolute",
  "torch_dtype": "float32",
  "transformers_version": "4.49.0",
  "type_vocab_size": 1,
  "use_cache": true,
  "vocab_size": 250002
}
```

--------------------------------

### Model Configuration Parameters

Source: https://huggingface.co/AITeamVN/Vietnamese_Embedding/blob/0386e447c53eeb1534b965348b1cfdaa5ca2bfee/config.json

The JSON configuration file defining the architecture and hyperparameters for the model.

```json
{
  "_name_or_path": "/AITeamVN/bge_vi_2048",
  "architectures": [
  "XLMRobertaModel"
  ],
  "attention_probs_dropout_prob": 0.1,
  "bos_token_id": 0,
  "classifier_dropout": null,
  "eos_token_id": 2,
  "hidden_act": "gelu",
  "hidden_dropout_prob": 0.1,
  "hidden_size": 1024,
  "initializer_range": 0.02,
  "intermediate_size": 4096,
  "layer_norm_eps": 1e-05,
  "max_position_embeddings": 8194,
  "model_type": "xlm-roberta",
  "num_attention_heads": 16,
  "num_hidden_layers": 24,
  "output_past": true,
  "pad_token_id": 1,
  "position_embedding_type": "absolute",
  "torch_dtype": "float32",
  "transformers_version": "4.49.0",
  "type_vocab_size": 1,
  "use_cache": true,
  "vocab_size": 250002
}
```
Tokens:
Raw