93 lines
3.4 KiB
Python
93 lines
3.4 KiB
Python
import os
|
|
os.environ["TOKENIZERS_PARALLELISM"] = "false"
|
|
|
|
import faiss
|
|
import numpy as np
|
|
import ollama
|
|
import gradio as gr
|
|
import os
|
|
import argparse
|
|
from sentence_transformers import SentenceTransformer
|
|
|
|
# === KONFIGURACJA ===
|
|
model_name = "hse.ably.do:latest" # Nazwa modelu Ollama
|
|
faiss_index_path = "faiss_index.idx" # Plik indeksu FAISS
|
|
kodeks_file = "/home/ably.do/docs/kodekspracy.txt" # Plik z treścią kodeksu pracy
|
|
embedding_model = SentenceTransformer("all-MiniLM-L6-v2") # Model do embedowania tekstu
|
|
|
|
# === KROK 1: WCZYTYWANIE KODEKSU PRACY ===
|
|
def load_kodeks(filepath):
|
|
with open(filepath, "r", encoding="utf-8") as file:
|
|
content = file.read()
|
|
articles = content.split("\n\n") # Dzielimy na sekcje
|
|
return [article.strip() for article in articles if article.strip().startswith("Art.")]
|
|
|
|
# === KROK 2: TWORZENIE INDEKSU FAISS ===
|
|
def create_faiss_index(sections):
|
|
embeddings = embedding_model.encode(sections, convert_to_numpy=True) # Tworzenie wektorów
|
|
index = faiss.IndexFlatL2(embeddings.shape[1]) # Indeks FAISS
|
|
index.add(embeddings) # Dodanie wektorów do FAISS
|
|
faiss.write_index(index, faiss_index_path) # Zapis indeksu
|
|
return index, sections
|
|
|
|
# === KROK 3: WYSZUKIWANIE NAJBLIŻSZEGO FRAGMENTU ===
|
|
def search_faiss(query, index, sections, top_k=3):
|
|
query_vector = embedding_model.encode([query], convert_to_numpy=True)
|
|
_, idx = index.search(query_vector, top_k) # Szukamy więcej wyników
|
|
|
|
results = [sections[i] for i in idx[0] if i < len(sections)]
|
|
return "\n\n".join(results) # Połącz kilka najlepszych fragmentów
|
|
|
|
# === KROK 4: GENEROWANIE ODPOWIEDZI Z OLLAMA ===
|
|
def generate_response(user_query):
|
|
if not os.path.exists(faiss_index_path):
|
|
return "Błąd: Indeks FAISS nie istnieje. Uruchom aplikację z opcją --rebuild-index."
|
|
|
|
try:
|
|
index = faiss.read_index(faiss_index_path)
|
|
except Exception as e:
|
|
return f"Błąd ładowania FAISS: {str(e)}"
|
|
|
|
sections = load_kodeks(kodeks_file)
|
|
best_match = search_faiss(user_query, index, sections)
|
|
|
|
# 👀 DEBUG: Sprawdź, co zwraca FAISS
|
|
print(f"🔍 Najlepsze dopasowanie FAISS dla '{user_query}':\n{best_match}")
|
|
|
|
prompt = f"""
|
|
Odpowiedz na pytanie na podstawie następującego tekstu:
|
|
|
|
{best_match}
|
|
|
|
Pytanie: {user_query}
|
|
Podaj dokładny tekst artykułu, jeśli go znajdziesz w treści powyżej.
|
|
"""
|
|
|
|
response = ollama.chat(model=model_name, messages=[{"role": "user", "content": prompt}])
|
|
|
|
print(f"📝 Odpowiedź modelu:\n{response}") # 👀 DEBUG: Sprawdź odpowiedź Ollama
|
|
|
|
return response.get("message", response.get("content", "Błąd: Nie udało się wygenerować odpowiedzi."))
|
|
|
|
# === KROK 5: INTERFEJS WEBOWY ===
|
|
iface = gr.Interface(
|
|
fn=generate_response,
|
|
inputs=gr.Textbox(label="Zadaj pytanie o kodeks pracy"),
|
|
outputs=gr.Textbox(label="Odpowiedź"),
|
|
title="Asystent Kodeksu Pracy",
|
|
description="Wpisz pytanie, a system zwróci odpowiedni fragment kodeksu pracy."
|
|
)
|
|
|
|
if __name__ == "__main__":
|
|
parser = argparse.ArgumentParser()
|
|
parser.add_argument("--rebuild-index", action="store_true", help="Odbudowanie indeksu FAISS")
|
|
args = parser.parse_args()
|
|
|
|
if args.rebuild_index or not os.path.exists(faiss_index_path):
|
|
print("Tworzenie nowego indeksu FAISS...")
|
|
sections = load_kodeks(kodeks_file)
|
|
create_faiss_index(sections)
|
|
else:
|
|
print("Indeks FAISS już istnieje.")
|
|
|
|
iface.launch(share=True) |