Przejdź do głównej zawartości

Inżynieria kontekstu - nowa rozmowa z krótkim bagażem

Zbliżenie oka, wokół rozłożone karty ze zdjęciami połączone siatką świecących linii

Streść starą rozmowę do kilku punktów i wklej je w nową rozmowę razem z poleceniem. Z bałaganu “kawa, potem herbata, potem obiad” zostaną cztery punkty. Długi bagaż przeszkadza, bo model odpowiada na całe okno, ze wszystkim, co padło wcześniej. Agentów ani tabeli okien konkretnych modeli tu nie ma.

Inżynieria kontekstu (ang. context engineering) to dobór tego, co model ma przed oczami w chwili odpowiedzi. Prompt, czyli Twoje polecenie, to tylko wierzch. Pod spodem leży historia rozmowy, wgrany plik i stała instrukcja z ustawień. Wszystko to konkuruje o miejsce w jednym oknie kontekstowym - tak nazywa się wszystko, co model widzi naraz.

Zamykasz rozmowę i przenosisz do nowej tylko to, co nadal obowiązuje. Robisz to, gdy temat się zmienił, model wraca do porzuconej wersji albo gubi początek rozmowy.

Dlaczego długa rozmowa głupieje:

  • Okno ma ograniczoną pojemność. Gdy się zapełnia, najstarsze fragmenty przestają być widoczne albo zostają streszczone. Mechanika jest w tokenach.
  • Środek długiego wklejenia bywa słabiej widziany niż brzegi. Liu i in. (2023) nazwali to “lost in the middle” (zagubione w środku). To opis zjawiska, a nie porównanie dzisiejszych modeli (arxiv:2307.03172).
  • Dygresja o obiedzie (wiadomość 3 w ćwiczeniu niżej) obowiązuje na równi z decyzją o herbacie (wiadomość 2). Model nie wie, z czego “już zrezygnowano”, dopóki tego nie ma w tekście.

Anthropic opisuje kontekst jako budżet uwagi: każdy kolejny kawałek uszczupla resztę (Effective context engineering, 2025). Dlatego krótka lista czterech ustaleń działa lepiej niż cała historia rozmowy wklejona na wszelki wypadek. Jeden dokument możesz po prostu wkleić. Całą bibliotekę dokumentów trzeba przeszukiwać - do tego służy RAG.

Stała notatka w ustawieniach czatu (“branża, ton, język”) oszczędza Ci przedstawiania się za każdym razem. Nie usuwa z rozmowy o ofercie wcześniejszej dygresji o obiedzie. Pamięć między rozmowami bywa wygodna i bywa niewidocznym kontekstem - przegląd tego, co narzędzie “o Tobie” trzyma, jest w prywatności.

Najważniejsze zdanie stawiaj na górze albo na dole przeniesionego promptu, nie w środku wklejonego stenogramu.

Ustalenia (obowiązują, reszta rozmowy nie):
- produkt: herbata, nie kawa
- format: krótka oferta
- odbiorca: sklep detaliczny
- odrzucone: dygresja o obiedzie
Zadanie: napisz ofertę według ustaleń. Nie wracaj do kawy.

Poniższa rozmowa jest wymyślona na potrzeby tej strony. Nie odpalasz jej w czacie, chyba że zostaje czas.

1. Oferta dla sklepu z kawą, trzy warianty.
2. Jednak herbata. Kawa nie obowiązuje.
3. Przy okazji: co na obiad?
4. Wróć do oferty. Wersja krótka.
  1. Na kartce zapisz cztery punkty: co obowiązuje, co odrzucone.
  2. Złóż z nich prompt na nową rozmowę (wzorzec ze strony).
  3. Sprawdź: czy w nowym prompcie obiad albo kawa stoją wśród ustaleń, które obowiązują?

Zaliczenie: cztery punkty i prompt, w którym kawa i obiad występują najwyżej w wierszu “odrzucone”, nigdy jako produkt albo zadanie.

Gdzie łatwo się pomylić: obiad łatwo zostawić wśród ustaleń, które obowiązują, bo był w rozmowie. Jego miejsce jest w wierszu “odrzucone” albo nigdzie.

Jeśli nic nie zgrzyta i zostaje czas: wklej stenogram 1-4 do czata i poproś o “krótką ofertę”. Potem nowa rozmowa z Twoim promptem z punktu 2. Porównaj, czy kawa wróciła.

  • Model widzi okno, nie “ostatnią intencję”.
  • Nowe zadanie to nowa rozmowa i krótka lista ustaleń.
  • Brzegi okna wygrywają ze środkiem stenogramu. Dokumentów nie sypiesz “na wszelki wypadek”.

Następny krok: Automatyzacja - gdy ten sam podział na kroki ma jechać na nowych danych, nie w jednym bałaganie.

Częste pytania

Czym jest inżynieria kontekstu?

To dobór tego, co model ma przed oczami w momencie odpowiedzi - historia, pliki, instrukcje stałe i ostatnie polecenie. Prompt engineering pyta "jak to sformułować". Tu pytasz "co w ogóle ma tam być".

Dlaczego długa rozmowa głupieje?

Okno się zapełnia i najstarsze fragmenty przestają być widoczne albo zostają streszczone, środek długiego wklejenia bywa słabiej widziany, a dygresje obowiązują tak samo jak aktualne ustalenia. Ratunek to nowa rozmowa z krótkim podsumowaniem, nie "jeszcze jedna wiadomość w tej samej rozmowie".

Czy instrukcje stałe w chatbocie zastępują tę lekcję?

Nie. Stała notatka ("piszę po polsku, konkretnie") oszczędza Ci przedstawiania się za każdym razem. Nie usuwa bałaganu z pięćdziesięciu wiadomości o innym temacie. To dwa różne miejsca w oknie.

made with ❤️ by aitomate.pl - Łukasz Podgórski