mod herbert

-Rozporządzenie ministra pracy i polityki społecznej z dnia 26.09.1997r. w sprawie ogólnych przepisów BHP.pdf
- Rozporządzenie Ministra Rodziny i Polityki Społecznej z dnia 4 listopada 2021 r. zmieniające rozporządzenie w sprawie ogólnych przepisów bezpieczeństwa i higieny pracy.pdf
-Rozporządzenie z dnia 2 września 1997 r. w sprawie służby BHP.pdf
- Ustawa z dnia 24 sierpnia 1991 r. o ochronie przeciwpożarowej.pdf
-Ustawa z dnia 24 sierpnia 1991 r. o Państwowej Straży Pożarnej.pdf
-Ustawa z dnia 30 października 2002 r. o ubezpieczeniu społecznym z tytułu wypadków przy pracy i chorób zawodowych.pdf

allegro.py

@@ -1,119 +1,9 @@
-import os
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
-import re
-import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer, DataCollatorForLanguageModeling
-from datasets import Dataset
 
-# Konfiguracja
+model = AutoModelForSeq2SeqLM.from_pretrained("allegro/multislav-5lang")
-os.environ["TOKENIZERS_PARALLELISM"] = "false"
+tokenizer = AutoTokenizer.from_pretrained("allegro/multislav-5lang")
-MODEL_NAME = "allegro/herbert-base-cased"
-SPECIAL_TOKENS = ["[CITATION_START]", "[CITATION_END]"]
-TEXT_FILE_PATH = "./docs/kodekspracy.txt"  # Zmień na właściwą ścieżkę
 
-def prepare_dataset_from_file(file_path):
+model.save_pretrained("./models/ably")
-    with open(file_path, 'r', encoding='utf-8') as f:
+tokenizer.save_pretrained("./models/ably")
-        text = f.read()
 
-    articles = re.findall(r'Art\.\s*\d+[a-z]*\..*?(?=\s*Art\.\s*\d+[a-z]*\.|\Z)', text, flags=re.DOTALL)
+print("✅ Model został wytrenowany i zapisany!")
-    
-    formatted_articles = []
-    for article in articles:
-        article = ' '.join(article.strip().split())
-        
-        art_match = re.match(r'Art\.\s*(\d+[a-z]*)\.?\s*(.*)', article, re.DOTALL)
-        if art_match:
-            art_number = art_match.group(1)
-            art_text = art_match.group(2)
-            
-            paragraphs = re.split(r'(§\s*\d+\.)', art_text)
-            if len(paragraphs) > 1:
-                formatted_paragraphs = []
-                for i in range(1, len(paragraphs), 2):
-                    para_num = paragraphs[i].strip()
-                    para_text = paragraphs[i+1].strip()
-                    formatted_paragraphs.append(f"{para_num} {para_text}")
-                formatted = f"[CITATION_START] Kodeks Pracy, Art. {art_number} [CITATION_END]\n" + "\n".join(formatted_paragraphs)
-            else:
-                formatted = f"[CITATION_START] Kodeks Pracy, Art. {art_number} [CITATION_END] {art_text}"
-            
-            formatted_articles.append({"text": formatted})
-            
-            questions = [
-                f"Zacytuj artykuł {art_number} Kodeksu pracy.",
-                f"Co mówi artykuł {art_number} Kodeksu pracy?",
-                f"Podaj treść artykułu {art_number} Kodeksu pracy."
-            ]
-            for question in questions:
-                formatted_articles.append({"text": f"{question}\n{formatted}"})
-    
-    return formatted_articles
-
-def main():
-    # Inicjalizacja tokenizera
-    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
-    tokenizer.pad_token = tokenizer.eos_token
-    tokenizer.add_special_tokens({"additional_special_tokens": SPECIAL_TOKENS})
-
-    print(f"Pad token: {tokenizer.pad_token}")
-    print(f"Pad token ID: {tokenizer.pad_token_id}")
-
-    # Przygotowanie danych
-    data = prepare_dataset_from_file(TEXT_FILE_PATH)
-    dataset = Dataset.from_dict({"text": [d["text"] for d in data]})
-
-    # Tokenizacja
-    def tokenize_function(examples):
-        tokenized = tokenizer(
-            examples["text"],
-            truncation=True,
-            padding="max_length",
-            max_length=512,
-            return_tensors="pt"
-        )
-        tokenized["labels"] = tokenized["input_ids"].clone()
-        return tokenized
-
-    tokenized_dataset = dataset.map(tokenize_function, batched=True, remove_columns=dataset.column_names)
-
-    # Model i data collator
-    model = AutoModelForCausalLM.from_pretrained(MODEL_NAME)
-    model.resize_token_embeddings(len(tokenizer))
-    model.config.pad_token_id = tokenizer.pad_token_id
-    
-    data_collator = DataCollatorForLanguageModeling(
-        tokenizer=tokenizer,
-        mlm=False
-    )
-
-    # Konfiguracja treningu
-    training_args = TrainingArguments(
-        output_dir="./results",
-        num_train_epochs=32,
-        per_device_train_batch_size=2,
-        learning_rate=1e-5,
-        logging_steps=10,
-        weight_decay=0.01,
-        report_to="none",
-        save_strategy="steps",
-        save_steps=500,
-        evaluation_strategy="steps",
-        eval_steps=500,
-        load_best_model_at_end=True,
-    )
-
-    # Trainer
-    trainer = Trainer(
-        model=model,
-        args=training_args,
-        train_dataset=tokenized_dataset,
-        eval_dataset=tokenized_dataset,
-        data_collator=data_collator
-    )
-
-    print("Rozpoczęcie treningu...")
-    trainer.train()
-    trainer.save_model("./trained_model/allegro")
-    tokenizer.save_pretrained("./trained_model/allegro")
-
-if __name__ == "__main__":
-    main()

herbert.py

@@ -0,0 +1,119 @@
+import os
+os.environ["TOKENIZERS_PARALLELISM"] = "false"
+
+import torch
+import faiss
+import numpy as np
+from sentence_transformers import SentenceTransformer
+from datasets import Dataset
+from peft import LoraConfig, get_peft_model
+from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, DataCollatorForLanguageModeling
+
+# 1️⃣ Inicjalizacja modelu do embeddingów
+embed_model = SentenceTransformer("all-MiniLM-L6-v2")
+
+# 2️⃣ Dodanie dokumentów i embeddingów
+def read_documents_from_file(file_path):
+    with open(file_path, 'r', encoding='utf-8') as file:
+        content = file.read()
+        articles = content.split('\n\n')
+        documents = []
+        for article in articles:
+            if article.strip().startswith('Art.'):
+                documents.append(article.strip())
+    return documents
+#documents = [
+#    "Jak założyć firmę w Polsce?", 
+#    "Jak rozliczyć podatek VAT?", 
+#    "Procedura składania reklamacji w e-sklepie.",
+#    "Jakie dokumenty są potrzebne do rejestracji działalności?"
+#]
+file_path = './docs/kodekspracy.txt'  # Zmień na właściwą ścieżkę
+documents = read_documents_from_file(file_path)
+embeddings = embed_model.encode(documents)
+
+# 3️⃣ Inicjalizacja FAISS i dodanie wektorów
+dim = embeddings.shape[1]
+index = faiss.IndexFlatL2(dim)
+index.add(np.array(embeddings, dtype=np.float32))
+
+# 4️⃣ Przygotowanie danych treningowych
+def create_training_data():
+    data = {
+        "text": documents,
+        "embedding": embeddings.tolist()
+    }
+    return Dataset.from_dict(data)
+
+dataset = create_training_data()
+
+# Podział danych na treningowe i ewaluacyjne
+split_dataset = dataset.train_test_split(test_size=0.25)
+train_dataset = split_dataset["train"]
+eval_dataset = split_dataset["test"]
+
+# 5️⃣ Ładowanie modelu Gemma 2B
+device = "cuda" if torch.cuda.is_available() else "cpu"
+model_name = "Lajonbot/vicuna-7b-v1.5-PL-lora_unload"
+model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16).to(device)
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+# 6️⃣ Konfiguracja LoRA
+lora_config = LoraConfig(
+    r=8, lora_alpha=32, lora_dropout=0.1, bias="none", task_type="CAUSAL_LM"
+)
+model = get_peft_model(model, lora_config)
+
+# 7️⃣ Tokenizacja danych
+max_length = 384
+
+def tokenize_function(examples):
+    return tokenizer(
+        examples["text"],
+        padding="max_length",
+        truncation=True,
+        max_length=max_length
+    )
+
+tokenized_train = train_dataset.map(tokenize_function, batched=True)
+tokenized_eval = eval_dataset.map(tokenize_function, batched=True)
+
+# 8️⃣ Parametry treningu
+training_args = TrainingArguments(
+    output_dir="./results",
+    eval_strategy="steps",          # Ewaluacja co określoną liczbę kroków
+    eval_steps=500,                 # Ewaluacja co 500 kroków
+    save_strategy="steps",          # Zapis modelu co określoną liczbę kroków
+    save_steps=500,                 # Zapis modelu co 500 kroków
+    learning_rate=1e-5,
+    per_device_train_batch_size=2,
+    per_device_eval_batch_size=2,
+    num_train_epochs=16,
+    weight_decay=0.01,
+    load_best_model_at_end=True,    # Wczytaj najlepszy model na końcu
+    metric_for_best_model="loss",   # Kryterium wyboru najlepszego modelu
+    greater_is_better=False,        # Niższy loss = lepszy model
+)
+
+# 9️⃣ Data Collator
+data_collator = DataCollatorForLanguageModeling(
+    tokenizer=tokenizer,
+    mlm=False
+)
+
+# 🔟 Trening modelu
+trainer = Trainer(
+    model=model,
+    args=training_args,
+    train_dataset=tokenized_train,
+    eval_dataset=tokenized_eval,    # Dodany zestaw ewaluacyjny
+    data_collator=data_collator,
+)
+
+trainer.train()
+
+# 1️⃣1️⃣ Zapis modelu
+model.save_pretrained("./models/herbert")
+tokenizer.save_pretrained("./models/herbert")
+
+print("✅ Model został wytrenowany i zapisany!")