Til Modellarining ostidagi Mantig’i (Underlying Logic of Language Models)

Kecha “Deep Generative Modeling from a Statistics Perspective” pilot kursining oxirgi darsi bo’ldi. 3 kishilik jamoam bilan ICML 2025 dagi “Underlying Logic of Language Models” tutorialini tanlagan edik. Laboratoriyadagi eksperimentlar, professorim bilan birga o’ylab topgan gipotezalarni isbotlash, maqolalar o’qish va parallel olib borilayotgan 3ta loyihadan tashqari, oxirgi kuni nima busa ham vaqt topib tayyorlandik — va keyingi kuni ertalab birinchi bo’lib taqdimot qildik. Pilot kursga o’ylaganimdek to’liq vaqt ajrata olmaganimni aytmoqchiman, xolos.

Endi o’sha mavzuni sizga o’zbek tilida tushuntirib bermoqchiman. Tutorialga havolani blog oxirida qoldiraman.

Til modeliga qanday qaraymiz?

Bilamizki, til modellari asosan autoregressive bo’lib, biz ularga ehtimollik (probability) nuqtai nazaridan qarashga o’rganib qolganmiz: “next-token prediction aslida nima qilyapti?”, “model qaysi policy’ga rioya qilyapti?” degan savollarni beramiz.

Bu tutorial esa katta til modellarini boshqa tomondan — hisoblash nazariyasi (theory of computation) nuqtai nazaridan tahlil qiladi. Mualliflar mantiq (logic), avtomatlar (automata) va boolean sxemalar (boolean circuits) abstraksiyalari orqali “transformer arxitekturasi nazariy jihatdan nimani hisoblay oladi-yu, nimani hisoblay olmaydi?” degan savolga javob izlaydilar.

Xo’sh, bu bizga nima beradi?

LLMlar adashadigan “oddiy” savollar

Quyidagi savollarni eslang:

1. “strawberry” so’zida nechta ‘r’ harfi bor? (Faqat bitta raqam bilan javob bering.) Avvalgi LLMlar “2 ta” deb adashar edi.
2. 1023 × 435 nechaga teng? (“Cheating” — ya’ni kalkulyator yoki qadam-baqadam yozishsiz.) Modellar xato qilar edi.
3. “101011010101” binary satrida nechta ‘1’ bor?
4. “101010” satridagi birlar soni juftmi (even) yoki toqmi (odd)? Bu klassik PARITY masalasi.

Hozir bu muammolarning amaliy yechimlari bor: tokenizer yaxshilandi, Chain-of-Thought (thinking tokenlar) qo’shildi. Lekin tutorialning maqsadi “qanday yechamiz?” emas, balki “LLMlar nega aynan shu yerlarda adashadi?” degan savolga nazariy javob berish.

Boolean sxema sinflari: AC0, TC0, TC1

Formal hisoblash nazariyasida sxemalar quyidagi sinflarga bo’linadi:

AC0 — chuqurligi o’zgarmas (constant depth), lekin har bir gate’ga istalgancha kirish ulanadigan (unbounded fan-in) AND/OR/NOT sxemalar sinfi. Bu sinf juda cheklangan: mashhur natijaga ko’ra (Furst–Saxe–Sipser, 1984; Håstad, 1986) AC0 sxemalar PARITY funksiyasini, ya’ni ko’p bitli XOR ni hisoblay olmaydi. Demak, AC0 darajasidagi model 3- va 4-masalalarda (sanash va juft-toqlik) tabiiy ravishda adashadi.

TC0 — AC0 ustiga threshold (majority) gate’lar qo’shilgan sinf. Threshold gate “kirishlarning yarmidan ko’pi 1 mi?” deb so’ray oladi, shuning uchun TC0 sanashni biladi: 1-, 3- va 4-masalalar yechiladi. Nazariy natijalarga ko’ra (Merrill & Sabharwal), oddiy, CoT’siz transformer taxminan TC0 ichida yotadi. Lekin ko’p qadamli, ketma-ket hisob talab qiladigan murakkab masalalar (masalan, katta sonlarni bir zumda ko’paytirish) TC0 uchun ham og’ir.

TC1 (va NC1) — chuqurligi kirish uzunligiga qarab logarifmik o’sadigan sxemalar. Chuqurlik oshgani sari ketma-ket hisob-kitob imkoniyati paydo bo’ladi. Chain-of-Thought aynan shu rol’ni o’ynaydi: har bir thinking token modelga qo’shimcha “hisoblash qadami” beradi va model TC0 chegarasidan chiqadi. Shu tufayli CoT bilan 2-masala (ko’paytirish) yechiladigan bo’ladi.

Mantiq (first-order logic va uning kengaytmalari) va avtomatlar nazariyasi esa shu sxema sinflarini til modellariga “tarjima qilish” uchun ishlatiladi: qaysi formal tillarni transformer taniy oladi, qaysilarini yo’q — shu savollarga aniq javob beriladi.

Modellarni sinflarga joylashtirsak

• GPT-2 — oddiy, CoT’siz transformer. Nazariy jihatdan taxminan TC0 ichida.
• o1 kabi reasoning modellar — uzun Chain-of-Thought bilan ishlaydi. CoT uzunligi polinomial bo’lsa, model ifoda kuchi TC0 dan ancha yuqoriga ko’tariladi (nazariy natijalarga ko’ra P sinfiga yaqinlashadi, Merrill & Sabharwal, ICLR 2024).
• GPT-5 kabi tool ishlatadigan modellar — tashqi vositalar (kalkulyator, kod interpretatori, qidiruv) bilan ishlaydi. Klassik sxema nazariyasi bu holatni bevosita qamrab olmaydi: tashqi tool modelga o’z sinfidan tashqaridagi hisobni “sotib olish” imkonini beradi.

Bu sizga nima uchun kerak?

Talaba, muhandis yoki tadqiqotchi sifatida bu abstraksiya sizga LLMlarni to’g’ri “javonga” qo’yishga yordam beradi: model adashsa, bu tasodifiy bug emas, balki arxitekturaning nazariy chegarasi bo’lishi mumkinligini ko’rasiz. Qaysi masalaga CoT kerak, qaysisiga tokenizer aybdor, qaysisiga tashqi tool shart — bularni sistemali o’ylashni o’rganasiz.

Chuqurroq o’qish uchun:

• ICML 2025 Tutorial: https://icml.cc/virtual/2025/40013
• “Thinking Like Transformers” (Weiss, Goldberg, Yahav, 2021) — transformerlarni RASP dasturlash tili orqali tushunish.
• Merrill & Sabharwal (TACL 2023) — CoT’siz, log-precision transformerlar uniform TC0 ichida ekanligi. Merrill, W., Sabharwal, A. “The Parallelism Tradeoff: Limitations of Log-Precision Transformers.” TACL 2023. https://arxiv.org/abs/2207.00729
• Merrill & Sabharwal (ICLR 2024) — polinomial uzunlikdagi CoT bilan transformer aynan P sinfidagi masalalarni yecha olishi. Merrill, W., Sabharwal, A. “The Expressive Power of Transformers with Chain of Thought.” ICLR 2024. https://arxiv.org/abs/2310.07923
• Li, Liu, Zhou, Ma (ICLR 2024) — CoT transformerlarga “tabiatan ketma-ket” (inherently serial) masalalarni yechish imkonini berishi. Li, Z., Liu, H., Zhou, D., Ma, T. “Chain of Thought Empowers Transformers to Solve Inherently Serial Problems.” ICLR 2024. https://arxiv.org/abs/2402.12875