testowanie

hft.py

@@ -190,22 +190,20 @@ trainer = CustomTrainer(
 trainer.train()
 
 # Funkcja generująca odpowiedź
-def generate_answer(question, model, tokenizer, source_mapper, max_length=200):
-    inputs = tokenizer(question, return_tensors="pt", truncation=True, max_length=512)
+def generate_answer(question, max_length=200):
+    model.eval()
+    inputs = tokenizer(question, return_tensors="pt", truncation=True, max_length=512).to(device)
     
-    outputs = model.base_model.generate(
-        **inputs,
-        max_length=max_length,
-        num_return_sequences=1,
-        return_dict_in_generate=True,
-        output_scores=True,
-    )
+    with torch.no_grad():
+        outputs = model.generate(
+            **inputs,
+            max_length=max_length,
+            num_return_sequences=1,
+            return_dict_in_generate=True
+        )
         
     answer = tokenizer.decode(outputs.sequences[0], skip_special_tokens=True)
-    
-    # Pobierz źródło z ostatniego tokena
-    last_token_id = outputs.sequences[0][-1].item()
-    source_idx = model.source_embeddi
+    return answer
     
 # Utwórz katalog do zapisu modelu
 save_directory = "./trained_model/ably.do/hse"
@@ -228,3 +226,12 @@ with open(os.path.join(save_directory, "source_mapper.json"), 'w') as f:
 
 # 4. Zapisz konfigurację modelu (opcjonalnie, ale zalecane)
 model.base_model.config.save_pretrained(save_directory)
+
+# Przeprowadź testy
+test_questions = [
+    "Ile dni urlopu przysługuje pracownikowi, który przepracował w pełnym wymiarze pracy 5 lat?"
+]
+
+for q in test_questions:
+    print(f"Pytanie: {q}")
+    print(f"Odpowiedź: {generate_answer(q)}\n{'='*50}")