Determinizm, który łatwo przeoczyć
Sprawdziłem dwa repozytoria: p-zielinski/test-llm i p-zielinski/test-llm-2. Chciałem zobaczyć, skąd bierze się tekst, który wygląda jak pomysł.
W dużym modelu ten determinizm łatwo przeoczyć, więc wynik wygląda twórczo. W determinizm wierzyłem już wcześniej. Eksperyment zaostrzył porównanie: ludzki mózg jest jak model, albo model jest jak mózg, a twórczość przychodzi z zewnątrz.
Prompt Zdanie startowe wchodzi jako ciąg, od którego liczy się dalszy tekst.
Następny token Każdy kolejny fragment jest tym, co po poprzednim wyrażeniu wypada najczęściej.
Nacisk z zewnątrz Ciało, świat i walka o zasoby zmuszają do szukania nowej drogi. Czasem z tego szukania wychodzi odkrycie.
Pętla, którą wtedy zobaczyłem, jest krótka.
pseudocode
token = prompt
while not finished:
token = next_token(token)
Człowiek nie jest w próżni. Ma ciało, słyszy świat, a konkurencja o zasoby zmusza do szukania nowych sposobów. Czasem to szukanie daje odkrycie. To cała tajemnica, a mogę ją przeceniać.