Zrozumienie ustawień ChatGPT: Temperature, Top P, Presence penalty i Frequency penalty

Elastyczność i opcje dostosowywania oferowane przez parametry ChatGPT sprawiają, że jest to wszechstronne narzędzie do różnych zadań. Dostosowując parametry takie jak Temperatura, Top P, Presence penalty i Frequency penalty, użytkownicy mogą dostosować wyniki modelu do swoich konkretnych potrzeb. Niezależnie od tego, czy chodzi o kreatywne pisanie, generowanie dokładnych odpowiedzi, czy kształtowanie stylu językowego modelu, zrozumienie i wykorzystanie tych parametrów może znacznie zwiększyć użyteczność i skuteczność ChatGPT.

Ustawienia ChatGPT

Temperatura

Temperatura kontroluje losowość generowanych odpowiedzi. Wyższa wartość temperatury zwiększa losowość, czyniąc odpowiedzi bardziej zróżnicowanymi i kreatywnymi, podczas gdy niższa wartość sprawia, że są one bardziej skoncentrowane i deterministyczne.

W przypadku kreatywnych zadań pisania lub burzy mózgów często preferowana jest wyższa wartość temperatury (np. 0,8-1,0), aby zbadać różne możliwości. Z drugiej strony, w przypadku zapytań opartych na faktach lub podczas generowania precyzyjnych odpowiedzi, preferowana jest niższa wartość temperatury (np. 0,2-0,5), aby zapewnić dokładniejsze i bardziej wiarygodne odpowiedzi.

Top P

Parametr Top P kontroluje różnorodność generowanych wyników poprzez obcinanie rozkładu prawdopodobieństwa słów. Działa on jako filtr określający liczbę słów lub fraz, które model językowy analizuje podczas przewidywania następnego słowa. Na przykład, gdy wartość Top P jest ustawiona na 0,4, model bierze pod uwagę tylko 40% najbardziej prawdopodobnych słów lub fraz.

Ustawienie wyższej wartości Top P (np. 0,9-1,0) zapewnia szerszy zakres opcji, co skutkuje bardziej zróżnicowanymi odpowiedziami. Może to być przydatne w przypadku kreatywnych zadań, w których pożądana jest nowość. I odwrotnie, niższa wartość Top P (np. 0,1-0,5) ogranicza wybory do najbardziej prawdopodobnych, dzięki czemu odpowiedzi są bardziej skoncentrowane i spójne.

Jaka jest różnica między Temperaturą a Top P?

Top P definiuje zakres tokenów (słów i symboli), których może używać ChatGPT. Gdy Top P = 1, model językowy może użyć dowolnego tokena podczas generowania odpowiedzi. Gdy Top P = 0,5, może użyć tylko 50% najbardziej prawdopodobnych/odpowiednich/powszechnych opcji.

Z drugiej strony, temperatura określa prawdopodobieństwo, że ChatGPT wybierze konkretny token. Przy temperaturze 1, bot będzie miał równe prawdopodobieństwo dla wszystkich dostępnych (w granicach Top P) opcji, podczas gdy niższe wartości sprawią, że będzie skłaniał się ku częściej używanym słowom i frazom.

Optymalne wartości Temperatury i Top P

Najlepsze wartości temperatury i Top P dla różnych zadań mogą się różnić w zależności od konkretnych wymagań i preferencji klienta lub publikacji.

W przypadku pisania artykułów niższa wartość temperatury (np. około 0,5-0,7) i średnia do wysokiej wartość Top P (np. około 0,8-0,9) mogą pomóc w generowaniu bardziej ukierunkowanych i spójnych artykułów, jednocześnie pozwalając na pewien kreatywny wkład modelu sztucznej inteligencji.
W przypadku opisów produktów, nieco wyższa wartość temperatury (np. około 0,7-0,8) i średnia wartość Top P (np. około 0,7-0,8) mogą pomóc w tworzeniu unikalnych i angażujących opisów, które wyróżniają się dla potencjalnych klientów.
W przypadku tłumaczeń językowych niższa wartość temperatury (np. około 0,5-0,7) i średnia lub wysoka wartość Top P (np. około 0,8-0,9) mogą pomóc w zapewnieniu dokładnych tłumaczeń przy jednoczesnym zachowaniu naturalnie brzmiących wyników.
W przypadku zadań wirtualnego asystenta, średnia wartość temperatury (np. około 0,7-0,8) i średnia do wysokiej wartość Top P (np. około 0,8-0,9) mogą pomóc w tworzeniu interaktywnych i pomocnych odpowiedzi, które są zarówno pouczające, jak i angażujące.
W przypadku kuratorowania treści, wyższa wartość temperatury (np. około 0,8-0,9) i niska wartość Top P (np. około 0,2-0,4) mogą pozwolić na większą kreatywność i różnorodność w kuratorowanych treściach, przy jednoczesnym zachowaniu trafności i jakości.
Zadania generowania kodu wymagają precyzji i przestrzegania konwencji. Ustawienie niskiej wartości temperatury między 0,1 a 0,5 może pomóc w zapewnieniu generowania dokładnego i wolnego od błędów kodu. Zaleca się stosowanie niższej wartości Top P wynoszącej około 0,2, aby zminimalizować losowość i zachować zgodność z ustalonymi konwencjami.

Presence penalty

Zarówno Presence penalty, jak i Frequency penalty pomagają uniknąć powtórzeń. Oba karają za używanie tych samych słów w kółko, ale na nieco inne sposoby. Opcja Presence penalty karze tokeny na podstawie tego, czy pojawiają się w wygenerowanym tekście do tej pory, niezależnie od tego, jak często występują.

Zachęca to ChatGPT do stosowania bardziej zróżnicowanego słownictwa. Im wyższa wartość Presence penalty, tym bardziej wyraźna staje się kara.

Frequency penalty

Frequency penalty karze tokeny na podstawie tego, jak często pojawiają się one w dotychczasowym tekście. Jeśli zauważysz nadmierne użycie tych samych słów w wygenerowanym wyniku, możesz zwiększyć wartość tego parametru.

Zwiększanie Presence penalty jest jak mówienie ChatGPT, aby nie używał powtarzających się fraz lub pomysłów, podczas gdy zwiększanie Frequency penalty jest jak mówienie, aby nie używał tych samych słów zbyt często.

Optymalne wartości dla Presence penalty i Frequency penalty

W celu umiarkowanej redukcji powtarzających się próbek, odpowiednie współczynniki kary zazwyczaj mieszczą się w zakresie od 0,1 do 1. Jeśli jednak celem jest znaczne wyeliminowanie powtórzeń, współczynniki można zwiększyć do 2.

Niemniej jednak należy zauważyć, że taki wzrost może spowodować zauważalny spadek jakości próbki. Alternatywnie można zastosować wartości ujemne, aby celowo zwiększyć prawdopodobieństwo powtórzenia.