mod gpt
This commit is contained in:
parent
1243759c5a
commit
8e8b32093b
2
gpt.py
2
gpt.py
|
|
@ -61,7 +61,7 @@ def main():
|
||||||
examples["text"],
|
examples["text"],
|
||||||
truncation=True,
|
truncation=True,
|
||||||
padding="max_length",
|
padding="max_length",
|
||||||
max_length=2048, # Zwiększono dla dłuższych artykułów
|
max_length=1024, # Zwiększono dla dłuższych artykułów
|
||||||
return_tensors="pt"
|
return_tensors="pt"
|
||||||
)
|
)
|
||||||
tokenized["labels"] = tokenized["input_ids"].clone()
|
tokenized["labels"] = tokenized["input_ids"].clone()
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue