Notatki

Determinizm, który łatwo przeoczyć

Sprawdziłem dwa repozytoria: p-zielinski/test-llm i p-zielinski/test-llm-2. Chciałem zobaczyć, skąd bierze się tekst, który wygląda jak pomysł.

W dużym modelu ten determinizm łatwo przeoczyć, więc wynik wygląda twórczo. W determinizm wierzyłem już wcześniej. Eksperyment zaostrzył porównanie: ludzki mózg jest jak model, albo model jest jak mózg, a twórczość przychodzi z zewnątrz.

  1. Prompt Zdanie startowe wchodzi jako ciąg, od którego liczy się dalszy tekst.

  2. Następny token Każdy kolejny fragment jest tym, co po poprzednim wyrażeniu wypada najczęściej.

  3. Nacisk z zewnątrz Ciało, świat i walka o zasoby zmuszają do szukania nowej drogi. Czasem z tego szukania wychodzi odkrycie.

Pętla, którą wtedy zobaczyłem, jest krótka.

pseudocode

token = prompt
while not finished:
    token = next_token(token)

Człowiek nie jest w próżni. Ma ciało, słyszy świat, a konkurencja o zasoby zmusza do szukania nowych sposobów. Czasem to szukanie daje odkrycie. To cała tajemnica, a mogę ją przeceniać.