<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0">
  <channel>
    <title>blog.pipi.pl</title>
    <link>https://blog.pipi.pl/</link>
    <description>Studio notes from pipi.</description>
    <item>
      <title>Determinizm, który łatwo przeoczyć</title>
      <link>https://blog.pipi.pl/pl/determinizm</link>
      <description>import Callout from &apos;../../components/Callout.astro&apos;;
import CodePanel from &apos;../../components/CodePanel.astro&apos;;
import Footnote from &apos;../../components/Footnote.astro&apos;;
import SteppedFigure from &apos;../../components/SteppedFigure.astro&apos;;

Sprawdziłem dwa repozytoria: p-zielinski/test-llm i p-zielinski/test-llm-2. Chciałem zobaczyć, skąd bierze się tekst, który wygląda jak pomysł.

&lt;Callout&gt;
Model językowy nie jest twórczy sam z siebie. Uczy się, co zwykle następuje po wyrażeniu.
&lt;/Callout&gt;

W dużym modelu ten determinizm łatwo przeoczyć, więc wynik wygląda twórczo. W determinizm wierzyłem już wcześniej. Eksperyment zaostrzył porównanie: ludzki mózg jest jak model, albo model jest jak mózg, a twórczość przychodzi z zewnątrz.

&lt;SteppedFigure&gt;
  &lt;li&gt;
    &lt;strong&gt;Prompt&lt;/strong&gt;
    Zdanie startowe wchodzi jako ciąg, od którego liczy się dalszy tekst.
  &lt;/li&gt;
  &lt;li&gt;
    &lt;strong&gt;Następny token&lt;/strong&gt;
    Każdy kolejny fragment jest tym, co po poprzednim wyrażeniu wypada najczęściej.
  &lt;/li&gt;
  &lt;li&gt;
    &lt;strong&gt;Nacisk z zewnątrz&lt;/strong&gt;
    Ciało, świat i walka o zasoby zmuszają do szukania nowej drogi. Czasem z tego szukania wychodzi odkrycie.
  &lt;/li&gt;
&lt;/SteppedFigure&gt;

Pętla, którą wtedy zobaczyłem, jest krótka.

&lt;CodePanel language=&quot;pseudocode&quot; /&gt;

```text
token = prompt
while not finished:
    token = next_token(token)
```

Człowiek nie jest w próżni. Ma ciało, słyszy świat, a konkurencja o zasoby zmusza do szukania nowych sposobów. Czasem to szukanie daje odkrycie. To cała tajemnica, a mogę ją przeceniać.

&lt;Footnote&gt;
Dwa repozytoria z tego sprawdzenia nazywają się p-zielinski/test-llm i p-zielinski/test-llm-2.
&lt;/Footnote&gt;</description>
    </item>
    <item>
      <title>Determinism that is easy to miss</title>
      <link>https://blog.pipi.pl/en/determinizm</link>
      <description>import Callout from &apos;../../components/Callout.astro&apos;;
import CodePanel from &apos;../../components/CodePanel.astro&apos;;
import Footnote from &apos;../../components/Footnote.astro&apos;;
import SteppedFigure from &apos;../../components/SteppedFigure.astro&apos;;

I tried two repositories, p-zielinski/test-llm and p-zielinski/test-llm-2. I wanted to see where text that looks like an idea comes from.

&lt;Callout&gt;
A language model is not creative on its own. It learns what tends to follow an expression.
&lt;/Callout&gt;

In a large model that determinism is easy to miss, so the output looks creative. I already believed in determinism. The experiment made the comparison sharper: a human brain is like the model, or the model is like the brain, and creativity comes from outside.

&lt;SteppedFigure&gt;
  &lt;li&gt;
    &lt;strong&gt;Prompt&lt;/strong&gt;
    The starting sentence enters as the sequence the rest of the text is counted from.
  &lt;/li&gt;
  &lt;li&gt;
    &lt;strong&gt;Next token&lt;/strong&gt;
    Each next piece is whatever most often follows the expression before it.
  &lt;/li&gt;
  &lt;li&gt;
    &lt;strong&gt;Outside pressure&lt;/strong&gt;
    A body, the world, and competition for resources force a search for a new way. Sometimes that search produces a discovery.
  &lt;/li&gt;
&lt;/SteppedFigure&gt;

The loop I saw then is short.

&lt;CodePanel language=&quot;pseudocode&quot; /&gt;

```text
token = prompt
while not finished:
    token = next_token(token)
```

A person is not in a vacuum. They have a body, they hear the world, and competition for resources forces a search for new ways. Sometimes that search produces a discovery. That is the whole secret, and I may be overstating it.

&lt;Footnote&gt;
The two repositories from this check are named p-zielinski/test-llm and p-zielinski/test-llm-2.
&lt;/Footnote&gt;</description>
    </item>
  </channel>
</rss>
