Menší vstupy
Zkrácení kontextu, lepší struktura dat, odstranění duplicit a návrh formátů, které model nemusí složitě luštit.
Konzultace a audit AI workflow
Pomáhám najít místa, kde se AI používá zbytečně draze, složitě nebo nepřesně. Výsledkem jsou menší vstupy, jednodušší procesy, nižší náklady a lépe kontrolovatelné výstupy.
Prakticky, bez slibů o revoluci. Často stačí upravit několik špatně navržených kroků.
Nejde jen o prompty. Často je potřeba rozhodnout, co má dělat model, co obyčejný kód a co se vůbec nemá posílat ven.
Zkrácení kontextu, lepší struktura dat, odstranění duplicit a návrh formátů, které model nemusí složitě luštit.
Prompty, které jsou kratší, testovatelné a verzované. Méně instrukcí, které si odporují nebo jen maskují špatný proces.
Ne každá úloha potřebuje nejsilnější model. Někdy pomůže routing, menší model, cache nebo pravidlový předkrok.
Jednoduché srovnání před a po: tokeny, cena za úlohu, latence, chybovost a ruční zásahy.
Méně volání, menší modely, dávkování, limity a kontrola toho, kdy se AI vůbec spouští.
Oddělení faktů od odhadů, validace, fallbacky a jasné zacházení s nejistotou modelu.
Nejlevnější token je ten, který se vůbec nemusí poslat.
Optimalizace AI často začíná úplně mimo model: ve vstupních datech, ve struktuře úlohy a ve způsobu vyhodnocování.Prompty, datové vstupy, frekvence volání, používané modely, náklady a místa, kde vznikají chyby.
Duplicitní kontext, nevhodné chunkování, moc dlouhé instrukce, špatně rozdělené kroky nebo chybějící cache.
Od rychlých změn promptů až po úpravu pipeline, předzpracování dat nebo směrování mezi modely.
Aby bylo jasné, jestli se snížila cena, zrychlil běh a nezhoršila kvalita výstupů.
Pro malé týmy, firmy i projekty, které už AI reálně používají a začínají řešit cenu, údržbu nebo spolehlivost.
Konkrétní doporučení, ne obecnou prezentaci o AI. Ideálně taková, která jdou ověřit na datech.
Stačí anonymizovaný prompt, popis procesu nebo odhad měsíčního objemu. První krok je obvykle zjistit, kde se opakuje práce, data nebo instrukce.
ahoj@aipeklo.cz