Kimi-K2-Thinking جدیدترین مدل متفکر متن باز

مدل متفکر کیمی کی۲ (Kimi-K2-Thinking) جدیدترین و توانمندترین نسخه از مدل تفکر متن‌باز است. کیمی کی۲ به عنوان یک عامل تفکر ساخته شده است که گام به گام استدلال می‌کند و در عین حال به صورت پویا ابزارها را فراخوانی می‌کند. این مدل با افزایش چشمگیر عمق استدلال چند مرحله‌ای و حفظ پایداری استفاده از ابزار در طول ۲۰۰ تا ۳۰۰ فراخوانی متوالی، یک پیشرفت جدید در آزمون‌های آخرین امتحان بشریت(HLE)، مرورکامپ (BrowseComp) و سایر معیارها ایجاد می‌کند. در عین حال،مدل متفکر کی۲ یک مدل کوانتیزاسیون بومی INT4 با پنجره متن ۲۵۶ کیلوبایتی است که به کاهش بدون اتلاف در تأخیر استنتاج و استفاده از حافظه GPU دست می‌یابد.

ویژگی‌های کلیدی

• تفکر عمیق و هماهنگ‌سازی ابزار: مدل آموزش دیده تا از ابتدا تا انتها برای درهم آمیختن استدلال زنجیره‌ای از افکار با فراخوانی‌های تابع، امکان تحقیق، کدنویسی و نوشتن گردش‌های کاری مستقل را فراهم کند که صدها مرحله بدون drift به طول می‌انجامد.
• کوانتیزاسیون بومی INT4: آموزش آگاه از کوانتیزاسیون (QAT) در مرحله پس از آموزش برای دستیابی به سرعت دو برابر بدون اتلاف در حالت تأخیر کم به کار گرفته می‌شود.
• عملکرد پایدار بلندمدت: رفتار منسجم و هدفمند را در طول حداکثر ۲۰۰ تا ۳۰۰ فراخوانی متوالی ابزار حفظ می‌کند و از مدل‌های قبلی که پس از ۳۰ تا ۵۰ مرحله دچار افت کیفیت می‌شوند، پیشی می‌گیرد.

خلاصه مدل

نتایج ارزیابی

وظایف استدلال(reasoning task)

وظایف عمومی

جستجوی عامل(agentic search)

کد نویسی

کوانتیزاسیون بومی INT4

کوانتیزاسیون با بیت پایین روشی مؤثر برای کاهش تأخیر استنتاج و استفاده از حافظه GPU در سرورهای استنتاج در مقیاس بزرگ است. با این حال، مدل‌های تفکر از طول رمزگشایی بسیار بالا استفاده می‌کنند و بنابراین کوانتیزاسیون اغلب منجر به افت قابل توجه عملکرد می‌شود.

برای غلبه بر این چالش، در مرحله پس از آموزش، آموزش آگاه از کوانتیزاسیون (QAT) را اتخاذ می‌کنیم و کوانتیزاسیون فقط وزن INT4 را به اجزای MoE اعمال می‌کند. این به K2 Thinking اجازه می‌دهد تا از استنتاج بومی INT4 با بهبود سرعت تولید تقریباً ۲ برابر پشتیبانی کند و در عین حال به عملکرد پیشرفته دست یابد. همه نتایج معیار با دقت INT4 گزارش می‌شوند

چک‌پوینت‌ها در قالب tensors فشرده ذخیره می‌شوند که توسط اکثر موتورهای استنتاج جریان اصلی پشتیبانی می‌شوند. اگر به checkpointها با دقت بالاتر مانند FP8 یا BF16 نیاز دارید، می‌توانید برای باز کردن وزن‌های int4 و تبدیل به هر دقت بالاتری به مخزن رسمی tensors فشرده مراجعه کنید.

استقرار

می‌توانید به API مربوط بهKimi-K2-Thinking از طریق آدرس https://platform.moonshot.ai دسترسی داشته باشید، این API سازگار با OpenAI/Anthropic می‌باشد.

در حال حاضر، توصیه می‌شود Kimi-K2-Thinking روی موتورهای استنتاج زیر اجرا شود:

• vLLM
• SGLang
• KTransformers

مثال‌های استقرار را می‌توانید در راهنمای استقرار مدل به آدرس زیر بیابید.

https://huggingface.co/moonshotai/Kimi-K2-Thinking/blob/main/docs/deploy_guidance.md

استفاده از مدل

تکمیل چت

پس از راه‌اندازی سرویس استنتاج محلی، می‌توانید از طریق نقطه دسترسی چت با آن تعامل داشته باشید

def simple_chat(client: openai.OpenAI, model_name: str):
    messages = [
        {"role": "system", "content": "You are Kimi, an AI assistant created by Moonshot AI."},
        {"role": "user", "content": [{"type": "text", "text": "which one is bigger, 9.11 or 9.9? think carefully."}]},
    ]
    response = client.chat.completions.create(
        model=model_name,
        messages=messages,
        stream=False,
        temperature=1.0,
        max_tokens=4096
    )
    print(f"k2 answer: {response.choices[0].message.content}")
    print("=====below is reasoning content======")
    print(f"reasoning content: {response.choices[0].message.reasoning_content}")

دمای توصیه شده برای kimi_k2_thinking برابر با ۱.۰ است. اگر دستورالعمل خاصی لازم نباشد، پیام سیستمی بالا پیش‌فرض خوبی است.

فراخوانی ابزار

kimi_k2_thinking همان تنظیمات فراخوانی ابزار Kimi-K2-Instruct را دارد.

برای فعال کردن آنها، باید لیست ابزارهای موجود را در هر درخواست ارسال کنید، سپس مدل به طور خودکار تصمیم می‌گیرد که چه زمانی و چگونه آنها را فراخوانی کند.

مثال زیر فراخوانی یک ابزار آب و هوا را به صورت سرتاسری نشان می‌دهد:

# Your tool implementation
def get_weather(city: str) -> dict:
    return {"weather": "Sunny"}
# Tool schema definition
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Retrieve current weather information. Call this when the user asks about the weather.",
        "parameters": {
            "type": "object",
            "required": ["city"],
            "properties": {
                "city": {
                    "type": "string",
                    "description": "Name of the city"
                }
            }
        }
    }
}]
# Map tool names to their implementations
tool_map = {
    "get_weather": get_weather
}
def tool_call_with_client(client: OpenAI, model_name: str):
    messages = [
        {"role": "system", "content": "You are Kimi, an AI assistant created by Moonshot AI."},
        {"role": "user", "content": "What's the weather like in Beijing today? Use the tool to check."}
    ]
    finish_reason = None
    while finish_reason is None or finish_reason == "tool_calls":
        completion = client.chat.completions.create(
            model=model_name,
            messages=messages,
            temperature=1.0,
            tools=tools,          # tool list defined above
            tool_choice="auto"
        )
        choice = completion.choices[0]
        finish_reason = choice.finish_reason
        if finish_reason == "tool_calls":
            messages.append(choice.message)
            for tool_call in choice.message.tool_calls:
                tool_call_name = tool_call.function.name
                tool_call_arguments = json.loads(tool_call.function.arguments)
                tool_function = tool_map[tool_call_name]
                tool_result = tool_function(**tool_call_arguments)
                print("tool_result:", tool_result)
                messages.append({
                    "role": "tool",
                    "tool_call_id": tool_call.id,
                    "name": tool_call_name,
                    "content": json.dumps(tool_result)
                })
    print("-" * 100)
    print(choice.message.content)

تابع tool_call_with_client مسیر انتقال از پرس‌وجوی کاربر تا اجرای ابزار را پیاده‌سازی می‌کند. این مسیر انتقال نیازمند موتور استنتاجی است که از منطق تجزیه ابزار بومی Kimi-K2-Thinking پشتیبانی کند. برای اطلاعات بیشتر، به راهنمای فراخوانی ابزار مراجعه کنید.

https://huggingface.co/moonshotai/Kimi-K2-Thinking/blob/main/docs/tool_call_guidance.md

منبع

https://huggingface.co