Optimizacija upita velikih jezičkih modela korišćenjem DSPy okvira

Сажетак

Veliki jezički modeli pokazuju osetljivost na formulaciju upita, zbog čega ručni prompt inženjering često daje nestabilne i troškovno neefikasne rezultate. DSPy okvir nudi programski pristup u kom se upit posmatra kao parametar koji se može sistematski učiti i optimizovati. Cilj rada je da se ispita koliko DSPy automatska optimizacija poboljšava klasifikaciju zlonamernih upita u odnosu na ručno definisane upite, uz ograničen budžet i strog izlazni format. Za potrebe eksperimenta korišćen je model GPT-4.1-nano i DSPy program (Signature + dspy.Predict), sa MIPROv2 optimizator, uz varijante SIMBA i COPRO. U odnosu na baznu liniju (makro-F1=0,248), DSPy bez optimizacije podiže učinak na 0,689, dok MIPROv2 dostiže 0,878 (context=empty) i 0,936 (context=true), vrlo blizu gornje granice od 0,955. Rizik značajno opada, a narušavanje formata je ≈0%. Ablacija pokazuje da je rewrite jači pojedinačni doprinos (0,904) od samih primera (0,885), dok njihova kombinacija daje najbolji rezultat (0,936), uz umereno veći rizik. DSPy pretvara dizajn upita u reproduktivan, merljiv i troškovno svestan proces. Precizno preformulisanje pravila i sažet domenski kontekst daju najviši doprinos, a kombinovanje sa nekoliko primera omogućava da se približi gornjoj granici učinka bez modifikacije težina modela.