This commit is contained in:
l.gabrysiak 2025-02-26 10:36:09 +01:00
parent 1243759c5a
commit 8e8b32093b
1 changed files with 1 additions and 1 deletions

2
gpt.py
View File

@ -61,7 +61,7 @@ def main():
examples["text"], examples["text"],
truncation=True, truncation=True,
padding="max_length", padding="max_length",
max_length=2048, # Zwiększono dla dłuższych artykułów max_length=1024, # Zwiększono dla dłuższych artykułów
return_tensors="pt" return_tensors="pt"
) )
tokenized["labels"] = tokenized["input_ids"].clone() tokenized["labels"] = tokenized["input_ids"].clone()