Upload folder using huggingface_hub

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

added_tokens.json

@@ -0,0 +1,28 @@
+{
+  "</think>": 151668,
+  "</tool_call>": 151658,
+  "</tool_response>": 151666,
+  "<think>": 151667,
+  "<tool_call>": 151657,
+  "<tool_response>": 151665,
+  "<|box_end|>": 151649,
+  "<|box_start|>": 151648,
+  "<|endoftext|>": 151643,
+  "<|file_sep|>": 151664,
+  "<|fim_middle|>": 151660,
+  "<|fim_pad|>": 151662,
+  "<|fim_prefix|>": 151659,
+  "<|fim_suffix|>": 151661,
+  "<|im_end|>": 151645,
+  "<|im_start|>": 151644,
+  "<|image_pad|>": 151655,
+  "<|object_ref_end|>": 151647,
+  "<|object_ref_start|>": 151646,
+  "<|quad_end|>": 151651,
+  "<|quad_start|>": 151650,
+  "<|repo_name|>": 151663,
+  "<|video_pad|>": 151656,
+  "<|vision_end|>": 151653,
+  "<|vision_pad|>": 151654,
+  "<|vision_start|>": 151652
+}

chat_template.jinja

@@ -0,0 +1,89 @@
+{%- if tools %}
+    {{- '<|im_start|>system\n' }}
+    {%- if messages[0].role == 'system' %}
+        {{- messages[0].content + '\n\n' }}
+    {%- endif %}
+    {{- "# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>" }}
+    {%- for tool in tools %}
+        {{- "\n" }}
+        {{- tool | tojson }}
+    {%- endfor %}
+    {{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{\"name\": <function-name>, \"arguments\": <args-json-object>}\n</tool_call><|im_end|>\n" }}
+{%- else %}
+    {%- if messages[0].role == 'system' %}
+        {{- '<|im_start|>system\n' + messages[0].content + '<|im_end|>\n' }}
+    {%- endif %}
+{%- endif %}
+{%- set ns = namespace(multi_step_tool=true, last_query_index=messages|length - 1) %}
+{%- for message in messages[::-1] %}
+    {%- set index = (messages|length - 1) - loop.index0 %}
+    {%- if ns.multi_step_tool and message.role == "user" and message.content is string and not(message.content.startswith('<tool_response>') and message.content.endswith('</tool_response>')) %}
+        {%- set ns.multi_step_tool = false %}
+        {%- set ns.last_query_index = index %}
+    {%- endif %}
+{%- endfor %}
+{%- for message in messages %}
+    {%- if message.content is string %}
+        {%- set content = message.content %}
+    {%- else %}
+        {%- set content = '' %}
+    {%- endif %}
+    {%- if (message.role == "user") or (message.role == "system" and not loop.first) %}
+        {{- '<|im_start|>' + message.role + '\n' + content + '<|im_end|>' + '\n' }}
+    {%- elif message.role == "assistant" %}
+        {%- set reasoning_content = '' %}
+        {%- if message.reasoning_content is string %}
+            {%- set reasoning_content = message.reasoning_content %}
+        {%- else %}
+            {%- if '</think>' in content %}
+                {%- set reasoning_content = content.split('</think>')[0].rstrip('\n').split('<think>')[-1].lstrip('\n') %}
+                {%- set content = content.split('</think>')[-1].lstrip('\n') %}
+            {%- endif %}
+        {%- endif %}
+        {%- if loop.index0 > ns.last_query_index %}
+            {%- if loop.last or (not loop.last and reasoning_content) %}
+                {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}
+            {%- else %}
+                {{- '<|im_start|>' + message.role + '\n' + content }}
+            {%- endif %}
+        {%- else %}
+            {{- '<|im_start|>' + message.role + '\n' + content }}
+        {%- endif %}
+        {%- if message.tool_calls %}
+            {%- for tool_call in message.tool_calls %}
+                {%- if (loop.first and content) or (not loop.first) %}
+                    {{- '\n' }}
+                {%- endif %}
+                {%- if tool_call.function %}
+                    {%- set tool_call = tool_call.function %}
+                {%- endif %}
+                {{- '<tool_call>\n{"name": "' }}
+                {{- tool_call.name }}
+                {{- '", "arguments": ' }}
+                {%- if tool_call.arguments is string %}
+                    {{- tool_call.arguments }}
+                {%- else %}
+                    {{- tool_call.arguments | tojson }}
+                {%- endif %}
+                {{- '}\n</tool_call>' }}
+            {%- endfor %}
+        {%- endif %}
+        {{- '<|im_end|>\n' }}
+    {%- elif message.role == "tool" %}
+        {%- if loop.first or (messages[loop.index0 - 1].role != "tool") %}
+            {{- '<|im_start|>user' }}
+        {%- endif %}
+        {{- '\n<tool_response>\n' }}
+        {{- content }}
+        {{- '\n</tool_response>' }}
+        {%- if loop.last or (messages[loop.index0 + 1].role != "tool") %}
+            {{- '<|im_end|>\n' }}
+        {%- endif %}
+    {%- endif %}
+{%- endfor %}
+{%- if add_generation_prompt %}
+    {{- '<|im_start|>assistant\n' }}
+    {%- if enable_thinking is defined and enable_thinking is false %}
+        {{- '<think>\n\n</think>\n\n' }}
+    {%- endif %}
+{%- endif %}

config.json

@@ -0,0 +1,100 @@
+{
+  "architectures": [
+    "Qwen3MoeForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "decoder_sparse_step": 1,
+  "dtype": "bfloat16",
+  "eos_token_id": 151645,
+  "head_dim": 128,
+  "hidden_act": "silu",
+  "hidden_size": 2048,
+  "initializer_range": 0.02,
+  "intermediate_size": 5472,
+  "max_position_embeddings": 131072,
+  "max_window_layers": 28,
+  "mlp_only_layers": [],
+  "model_type": "qwen3_moe",
+  "moe_intermediate_size": 768,
+  "norm_topk_prob": true,
+  "num_attention_heads": 32,
+  "num_experts": 128,
+  "num_experts_per_tok": 8,
+  "num_hidden_layers": 48,
+  "num_key_value_heads": 4,
+  "output_router_logits": false,
+  "pad_token_id": 151643,
+  "qkv_bias": false,
+  "quantization_config": {
+    "activation_scheme": "dynamic",
+    "fmt": "e4m3",
+    "modules_to_not_convert": [
+      "model.layers.0.mlp.gate",
+      "model.layers.1.mlp.gate",
+      "model.layers.2.mlp.gate",
+      "model.layers.3.mlp.gate",
+      "model.layers.4.mlp.gate",
+      "model.layers.5.mlp.gate",
+      "model.layers.6.mlp.gate",
+      "model.layers.7.mlp.gate",
+      "model.layers.8.mlp.gate",
+      "model.layers.9.mlp.gate",
+      "model.layers.10.mlp.gate",
+      "model.layers.11.mlp.gate",
+      "model.layers.12.mlp.gate",
+      "model.layers.13.mlp.gate",
+      "model.layers.14.mlp.gate",
+      "model.layers.15.mlp.gate",
+      "model.layers.16.mlp.gate",
+      "model.layers.17.mlp.gate",
+      "model.layers.18.mlp.gate",
+      "model.layers.19.mlp.gate",
+      "model.layers.20.mlp.gate",
+      "model.layers.21.mlp.gate",
+      "model.layers.22.mlp.gate",
+      "model.layers.23.mlp.gate",
+      "model.layers.24.mlp.gate",
+      "model.layers.25.mlp.gate",
+      "model.layers.26.mlp.gate",
+      "model.layers.27.mlp.gate",
+      "model.layers.28.mlp.gate",
+      "model.layers.29.mlp.gate",
+      "model.layers.30.mlp.gate",
+      "model.layers.31.mlp.gate",
+      "model.layers.32.mlp.gate",
+      "model.layers.33.mlp.gate",
+      "model.layers.34.mlp.gate",
+      "model.layers.35.mlp.gate",
+      "model.layers.36.mlp.gate",
+      "model.layers.37.mlp.gate",
+      "model.layers.38.mlp.gate",
+      "model.layers.39.mlp.gate",
+      "model.layers.40.mlp.gate",
+      "model.layers.41.mlp.gate",
+      "model.layers.42.mlp.gate",
+      "model.layers.43.mlp.gate",
+      "model.layers.44.mlp.gate",
+      "model.layers.45.mlp.gate",
+      "model.layers.46.mlp.gate",
+      "model.layers.47.mlp.gate",
+      "lm_head"
+    ],
+    "quant_method": "fp8",
+    "weight_block_size": [
+      128,
+      128
+    ]
+  },
+  "rms_norm_eps": 1e-06,
+  "rope_scaling": null,
+  "rope_theta": 5000000,
+  "router_aux_loss_coef": 0.0,
+  "sliding_window": null,
+  "tie_word_embeddings": false,
+  "transformers_version": "4.57.1",
+  "use_cache": true,
+  "use_qk_norm": true,
+  "use_sliding_window": false,
+  "vocab_size": 151936
+}

generation_config.json

@@ -0,0 +1,6 @@
+{
+  "_from_model_config": true,
+  "eos_token_id": 151645,
+  "pad_token_id": 151643,
+  "transformers_version": "4.57.1"
+}

model-00001-of-00007.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1e04a39e64063587239d39672e8e4ee638d145ca7f8e396b6c2114f069133392
+size 4997752648

model-00002-of-00007.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b666d582d0d9876e1499eeaf4c6f779e81e28035526bb88eed08a3c3b2103dba
+size 5000546768

model-00003-of-00007.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7b4bb57ed5132021a4ee8d6444eec6585eab7fd3b48df8c2481ee2bf76b9f137
+size 4999499712

model-00004-of-00007.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5c3c651b712970251723f0ae37c307e62378757079b2201969132f52a4a98892
+size 4999499728

model-00005-of-00007.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:09a6b7cd8ddc9f76b13732c5146766178b443e4f3af8d1e27b8569937df15b13
+size 4999499736

model-00006-of-00007.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5af5bf8e78110c2fe38adda88be7137aa95b984ad2d6b237cb9a94755982e80b
+size 4999499752

model-00007-of-00007.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:05a5f685d0f60e406112372d9f62b2eb99138bbbdeaca11ebd68df8c26f746a3
+size 1179294608

recipe.yaml

@@ -0,0 +1,6 @@
+default_stage:
+  default_modifiers:
+    QuantizationModifier:
+      targets: [Linear]
+      ignore: [lm_head, 're:.*mlp.gate$', 're:.*input_layernorm$', 're:.*post_attention_layernorm$']
+      scheme: FP8_BLOCK

req.py

@@ -0,0 +1,270 @@
+from openai import OpenAI
+
+client = OpenAI(
+    base_url="http://127.0.0.1:8010/v1",
+    api_key="token-abc123",
+)
+
+
+# question='''
+# 写一首关于春天的诗歌，要求是七言长诗，并给出赏析
+# '''
+question='''
+介绍一下成都
+'''
+
+def chat_completion_test(prompt,stream = True):
+    messages = [
+        {"role": "system", "content": "你是一个专业的AI助手"},
+        {"role": "user", "content": prompt}
+    ]
+
+
+    response = client.chat.completions.create(
+      model="Tongyi-DeepResearch-30B-A3B-FP8",
+      messages=messages,
+      max_tokens=4096,
+      stream=True, 
+      temperature=0.7,
+    #   stream_options={"include_usage": True},
+    )
+    
+    if stream:
+      for chunk in response:
+        if len(chunk.choices):
+          delta = chunk.choices[0].delta
+          if chunk_content := delta.content:
+            print(chunk_content, end="", flush=True)
+          if hasattr(delta,"reasoning_content"):
+            if chunk_content := delta.reasoning_content:
+              print(chunk_content, end="", flush=True)
+    else:
+      print(response.choices[0].message.content)
+      
+if __name__ == "__main__":
+
+    chat_completion_test(question,stream=True)
+
+
+'''
+Tongyi-DeepResearch-30B-A3B-NV
+
+<think>
+嗯，用户让我介绍一下成都。首先，我需要确定用户的需求是什么。可能是一个游客想去成都旅游，或者 someone对成都的文化、历史感兴趣。我需要涵盖多个方面，比如地理位置、历史、文化、美食、景点、现代发展等等。
+
+首先，成都的基本信息，地理位置在四川盆地西部，四川省的省会，人口大约2100万左右。然后历史方面，成都有4500年的文明史，3000多年的建城史，古蜀国的都城，秦朝建城，三国时期的重要城市，唐朝的繁华，还有抗战时期的陪都，这些历史点都需要提到。
+
+接下来是文化部分，大熊猫基地肯定是重点，还有川菜、茶馆文化、方言、休闲生活方式。美食方面，火锅、串串香、担担面、麻婆豆腐这些经典菜肴，以及小吃如钟水饺、龙抄手、赖汤圆、三大炮等。要强调成都作为美食之都的地位。
+
+景点方面，武侯祠、杜甫草堂、都江堰、青城山、宽窄巷子、锦里等都是必去的地方。还要提到现代发展，比如新经济城市，科技园区，以及天府国际机场的建设。
+
+另外，成都的休闲生活，茶馆文化、夜生活、酒吧区如九眼桥，以及慢节奏的生活方式，这些都是成都独特的魅力所在。可能还需要提到成都的交通便利，比如地铁和机场，方便游客到达。
+
+需要注意的是，用户可能对成都的美食特别感兴趣，所以美食部分可以详细一些。同时，大熊猫基地的门票和开放时间可能也是游客关心的，但可能不需要太详细的日期，除非用户进一步询问。另外，现代发展部分可以提到成都的经济地位，作为西部地区的中心，以及近年来的经济增长和科技发展。
+
+最后，总结成都的特点，强调其历史与现代的结合，美食与文化的融合。可能需要用友好的语气，让介绍更生动，比如提到“天府之国”、”休闲之都“等称号。要确保信息准确，结构清晰，分点列出，但避免使用Markdown，保持自然的段落分隔。
+
+检查是否有遗漏的重要信息，比如天气、最佳旅游时间、交通方式等，但可能用户没有特别提到，所以可以简要带过。或者是否需要提醒游客注意辣椒的量，适应口味，但可能属于旅游贴士，可以放在最后作为建议。
+
+总之，需要全面但简洁地介绍成都，涵盖历史、文化、美食、景点、现代发展等方面，让读者对成都有一个全面的了解。
+</think>
+
+成都，四川省省会，位于四川盆地西部，是西南地区重要的中心城市，被誉为“天府之国”。这座城市历史悠久、文化底蕴深厚，同时又充满现代活力，是中国西部的经济、文化和交通中心之一。
+
+### 一、历史与文化
+- **建城史**：成都拥有超过3000年的建城史，是古蜀文明的发源地之一。早在秦朝时期，成都就成为郡治所在地，三国时期为蜀汉都城。
+- **文化符号**：成都以三国文化（武侯祠）、诗歌文化（杜甫草堂）、道教文化（青城山）和川菜文化闻名，是中华文明的重要组成部分。
+
+### 二、美食之都
+成都素有“食在中国，味在四川”之说，川菜是中国八大菜系之一，以“麻辣鲜香”著称：
+- **经典菜肴**：麻婆豆腐、回锅肉、宫保鸡丁、水煮鱼等。
+- **小吃**：钟水饺、龙抄手、赖汤圆、担担面、夫妻肺片、三大炮等。
+- **街巷烟火**：锦里、宽窄巷子、奎星楼街等地汇聚了各类地道小吃，夜市和串串香摊位更是成都夜生活的标志。
+
+### 三、自然与生态
+- **大熊猫基地**：���都大熊猫繁育研究基地是全球最大的大熊猫保护机构，游客可近距离观察国宝。
+- **周边自然景观**：都江堰（世界文化遗产，古代水利工程）、青城山（道教名山）、西岭雪山（滑雪胜地）等。
+
+### 四、现代都市生活
+- **休闲文化**：成都人以“慢生活”著称，茶馆遍布街头巷尾，麻将文化、川剧变脸、休闲茶楼都是城市特色。
+- **夜生活**：九眼桥酒吧街、船说夜游锦江等场所热闹非凡，年轻人聚集地如太古里、春熙路商圈充满时尚气息。
+- **新经济城市**：成都是中国西部重要的科技、金融和文化创意中心，拥有众多高校和产业园区。
+
+### 五、交通与旅游
+- **交通枢纽**：成都双流国际机场和天府国际机场连接全球主要城市，高铁网络通达全国。
+- **必游景点**：武侯祠（三国文化）、杜甫草堂（诗歌文化）、锦里（仿古商业街）、宽窄巷子（老成都记忆）、熊猫基地等。
+
+### 六、特色体验
+- **方言与幽默**：成都话幽默风趣，火锅、茶馆、麻将桌上的方言交流是城市独特语言景观。
+- **文创与艺术**：成都的文创产业发达，东郊记忆、蓝顶艺术区、街头涂鸦等展现了年轻与活力。
+- **佛教文化**：文殊院、昭觉寺等古刹香火鼎盛，是心灵静修的好去处。
+
+### 七、总结
+成都是一座融合了历史厚重与现代活力的“神仙城市”，既有“窗含西岭千秋雪”的诗意，也有“火锅串串麻辣鲜香”的烟火气。无论是追寻千年古韵，还是感受悠闲生活，成都都能满足你对“慢生活”的向往，同时以其美食、熊猫和创新精神吸引着世界各地的游
+'''
+
+'''
+Tongyi-DeepResearch-30B-A3B-FP8-NV
+
+<think>
+嗯，用户让我介绍一下成都。首先，我需要确定用户的需求是什么。可能是一个游客想去成都旅游，或者 someone对成都的文化、历史感兴趣，甚至可能是学生做功课需要资料。所以，我需要全面但简洁地覆盖各个方面的信息。
+
+首先，成都的基本信息，比如地理位置、气候。然后是历史，成都有悠久的历史，可以提到古蜀文明，比如金沙遗址，还有三国时期的一些故事，比如刘备和武侯祠。经济发展方面，成都作为西南地区的经济中心，高新技术产业和美食文化都很有名，比如熊猫基地和川菜。
+
+接下来是文化部分，杜甫草堂、武侯祠这些名胜古迹，还有川剧变脸、蜀锦蜀绣这些非物质文化遗产。美食方面，川菜、火锅、串串香、成都小吃比如担担面、钟水饺，可能还要提到郫县豆瓣酱的作用。
+
+交通方面，成都的双流国际机场和天府国际机场，高铁网络发达，地铁系统也很方便。旅游景点除了熊猫基地，还有青城山、都江堰这些自然景观，宽窄巷子、锦里这些历史文化街区。
+
+另外，可能还要提到成都的现代发展，比如科技园区，如成都高新区，以及这里的大学，比如四川大学。还有成都的生活节奏，悠闲的生活方式，茶馆文化等等。
+
+需要确保信息准确，结构清晰，分点说明会更清楚。可能用户需要的是一个概览，所以每个部分不用太深入，但关键点要覆盖到。另外，语言要口语化，避免使用专业术语过多，让用户容易理解。检查有没有遗漏的重要信息，比如成都的别称“蓉城”，因为市花是芙蓉花。还有可能提到成都的交通便利，比如地铁线路，方便游客出行。
+
+最后，总结一下成都的特点，强调其历史、文化和美食的结合，以及现代与传统的融合。这样用户就能有一个全面的了解。可能还要注意时间安排，比如提到最佳旅游时间，气候方面的信息。总之，要确保信息全面、准确、有条理，同时保持简洁易懂。
+</think>
+
+成都，简称“蓉”，是四川省省会，位于中国西南地区，是西南地区的科技、商贸、金融中心和交通通信枢纽。以下是对成都的详细介绍：
+
+---
+
+### **地理与气候**
+- **地理位置**：地处四川盆地西部，东邻重庆，西靠青藏高原，是长江上游的重要城市。
+- **气候类型**：亚热带季风气候，四季分明，气候温和湿润，年平均气温16°C，冬暖夏热，雨量充沛，适合全年旅游。
+
+---
+
+### **历史与文化**
+- **悠久历史**：作为中国历史文化名城，成都已有约3000年建城史，是古蜀文明的发源地（如金沙遗址、三星堆文化）。
+- **三国文化**：曾是刘备建立蜀汉的都城，武侯祠（中国唯一现存的君臣合祀祠庙）是重要历史遗迹。
+- **文学艺术**：杜甫、李白等文人曾在此留下名篇，锦里、杜甫草堂是文化地标。
+
+---
+
+### **经济与科技**
+- **经济地位**：西南地区GDP最高的城市，电子信息、装备制造、生物医药等产业发达。
+- **科技园区**：成都高新区（中国西部首个国家自主创新示范区）聚集了大量高科技企业。
+- **交通枢纽**：双流国际机场和天府国际机场（全球最大单体航站楼）、成渝高铁等，通达全国及国际主要城市。
+
+---
+
+### **美食之都**
+- **川菜发源地**：以“麻、辣、鲜、香”著称，代表菜有麻婆豆腐、回锅肉、水煮鱼等。
+- **小吃与市井文化**：
+  - **串串香**：类似火锅的小串食材，价格亲民。
+  - **担担面**：细面搭配肉臊、花生碎，麻辣鲜香。
+  - **钟水饺**：甜辣口味，皮薄馅嫩。
+  - **火锅**：以牛油锅底和鲜切毛肚闻名。
+- **郫县豆瓣酱**：川菜的灵魂调料，起源于成都郫都区。
+
+---
+
+### **特色景点**
+1. **大熊猫繁育研究基地**：
+   - 全球最大的大熊猫保护机构之一，可近距离观察大熊猫及幼崽。
+2. **都江堰与青城山**：
+   - **都江堰**：世界文化遗产，古代无坝引水工程奇迹。
+   - **青城山**：道教发源地，以“青城天下幽”著称。
+3. **武侯祠与锦里**：
+   - **武侯祠**：纪念诸葛亮的祠庙，与汉昭烈庙相邻。
+   - **锦里**：仿古商业街，展现三国文化与川西民俗。
+4. **宽窄巷子与锦里**：
+   - 宽窄巷子由宽巷子、窄巷子和井巷子组成，融合传统与现代商业。
+   - 锦里以三国文化和四川民俗为主题。
+5. **杜甫草堂**：
+   - 唐代诗人杜甫流寓成都时的故居，现为纪念馆。
+6. **春熙路与太古里**：
+   - 现代商业中心，汇聚奢侈品、潮流品牌和特色餐厅。
+
+---
+
+### **非物质文化遗产**
+- **川剧变脸**：国家级非物质文化遗产，以瞬间变换脸谱的绝技闻名，可在锦里或专业剧院观赏。
+- **蜀锦蜀绣**：中国传统工艺，蜀锦以色彩绚烂著称，蜀绣细腻生动，成都工艺美术馆可体验制作。
+
+---
+
+### **生活与休闲**
+- **茶馆文化**：成都人爱饮茶，人民公园鹤鸣茶社、宽窄巷子茶馆是体验市井生活的绝佳去处。
+- **夜生活**：九眼桥酒吧街、玉林路的小酒馆（因赵雷歌曲《成都》走红）充满烟火气。
+
+---
+
+### **旅行贴士**
+1. **最佳时间**：春秋季（3-5月、9-11月），气候宜人，适合游览。
+2. **交通**：地铁覆盖主要景点，共享单车和出租车便利。
+3. **必尝美食**：除了火锅和小吃，别错过“三大炮”（糯米小吃）和“赖汤圆”。
+
+---
+
+### **总结**
+成都是一个融合了历史底蕴与现代活力的城市，既有“天府之国”的富庶，也有“休闲之都”的慢生活。无论是探索古蜀文明、品尝麻辣美食，还是与国宝大熊猫亲密接触，这里都能满足多元化的旅行期待
+'''
+
+'''
+Tongyi-DeepResearch-30B-A3B-FP8-VACC
+
+vllm serve /data/Tongyi-DeepResearch-30B-A3B-FP8/ \
+--trust-remote-code \
+--tensor-parallel-size 2 \
+--max-model-len 65536 \
+--enforce-eager \
+--rope-scaling '{"rope_type":"yarn","factor":2.0,"original_max_position_embeddings":32768}' \
+--port 8010 \
+--served-model-name Tongyi-DeepResearch-30B-A3B-FP8
+
+<think>
+嗯，用户让我介绍一下成都。首先，我需要确定用户可能对哪些方面感兴趣。成都作为四川省的省会，有很多不同的特色，比如历史、文化、美食、自然景观等等。我应该全面覆盖这些方面，但也要注意别太啰嗦。
+
+用户可能是个游客，想了解旅游景点，或者是个学生做研究，或者单纯对成都感兴趣。我得考虑不同需求，给出有用的信息。比如，旅游的话，推荐景点和美食；历史方面，提一下古蜀文明和三国文化；经济方面，可以提到高新技术产业；还有熊猫基地这样的特色。
+
+要注意结构清晰，分点说明可能更易读。比如分历史、文化、美食、景点、现代发展等部分。同时，要加入一些有趣的细节，比如“少不入蜀，老不出川”的说法，或者盖碗茶的文化，这样能让介绍更生动。
+
+还要检查有没有遗漏的重要信息，比如杜甫草堂、武侯祠这些历史遗迹，宽窄巷子、锦里这些老街区，还有川菜的代表菜如麻婆豆腐、火锅。另外，熊猫基地是成都的标志性景点，必须提到。
+
+用户可能还想知道交通、气候等实用信息，但问题只是“介绍一下”，所以可能不需要太深入，但可以简单提一下。比如成都的交通枢纽地位，地铁覆盖，气候温和湿润。
+
+最后，结尾部分可以总结成都的特点，比如慢生活、美食、熊猫，这样用户能记住关键点。保持语气友好，信息准确，避免错误。确保每个部分的信息简洁明了，不过于冗长。
+</think>
+
+成都，四川省的省会，位于四川盆地西部，是中国西南地区的重要城市之一，也是国家历史文化名城和新一线城市代表。以下是成都的详细介绍：
+
+### 1. **历史与文化**
+   - **古蜀文明发源地**：公元前4世纪古蜀国开明王朝迁都于此，命名为“成都”，意为“成都而旺”。
+   - **三国文化重镇**：拥有武侯祠（中国唯一纪念诸葛亮和刘备的祠庙）、杜甫草堂等历史遗迹。
+   - **文化传承**：川剧、变脸艺术、蜀绣、银花丝等非物质文化遗产丰富，宽窄巷子、锦里等街区保留老成都风貌。
+
+### 2. **美食之都**
+   - **川菜代表**：以“麻辣”著称，经典菜品包括：
+     - **火锅**：麻辣或清油锅底，配毛肚、黄喉等。
+     - **麻婆豆腐**：麻、辣、烫、香、酥、嫩兼具。
+     - **回锅肉**：豆瓣酱炒制，肥而不腻。
+     - **钟水饺**：甜水面搭配红油酱汁。
+     - **担担面**：酸辣鲜香，配肉末和芽菜。
+   - **街头小吃**：龙抄手、夫妻肺片、酸辣粉、串串香等遍布街头。
+   - **茶馆文化**：盖碗茶是标配，人民公园鹤鸣茶社是体验传统茶文化的经典地点。
+
+### 3. **自然与生态**
+   - **熊猫基地**：全球最大的大熊猫繁育研究基地，可近距离观察国宝。
+   - **都江堰-青城山**：世界文化遗产，都江堰是古代水利工程奇迹，青城山为道教发源地。
+   - **西岭雪山**：距市区较近的滑雪胜地，冬季热门目的地。
+
+### 4. **现代发展**
+   - **经济中心**：中国西部科技、金融、商贸和物流枢纽，拥有众多高新技术企业。
+   - **交通便利**：双流国际机场和天府国际机场为西南交通核心，地铁网络覆盖广泛。
+   - **创意产业**：东郊记忆（工业遗址改造的文化创意园区）、麓湖生态城等地展示城市创新活力。
+
+### 5. **休闲与慢生活**
+   - **茶馆与麻将**：茶馆遍布全城，麻将文化盛行，体现悠闲生活态度。
+   - **夜生活**：九眼桥酒吧街、玉林路等区域夜间热闹，适合体验本地人的社交方式。
+
+### 6. **特色活动**
+   - **国际赛事**：举办过世界大学生运动会、国际乒联总决赛等。
+   - **节庆活动**：正月初一的“逛锦里”、端午节龙舟赛等传统活动热闹非凡。
+
+### 7. **实用信息**
+   - **气候**：亚热带季风气候，冬无严寒、夏无酷暑，空气湿润。
+   - **交通**：地铁覆盖主要景点，公交发达；市内共享单车普及，适合骑行游览。
+
+### 总结
+成都融合了古蜀文明、三国历史、现代活力和独特美食，既有武侯祠、杜甫草堂等历史底蕴，也有大熊猫基地、都江堰等自然奇观。这里的生活节奏舒缓，火锅与盖碗茶是城市符号，正因如此，成都被形容为“来了就不想走”的“天府之国”。
+
+'''

special_tokens_map.json

@@ -0,0 +1,31 @@
+{
+  "additional_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>",
+    "<|object_ref_start|>",
+    "<|object_ref_end|>",
+    "<|box_start|>",
+    "<|box_end|>",
+    "<|quad_start|>",
+    "<|quad_end|>",
+    "<|vision_start|>",
+    "<|vision_end|>",
+    "<|vision_pad|>",
+    "<|image_pad|>",
+    "<|video_pad|>"
+  ],
+  "eos_token": {
+    "content": "<|im_end|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:aeb13307a71acd8fe81861d94ad54ab689df773318809eed3cbe794b4492dae4
+size 11422654

tokenizer_config.json

@@ -0,0 +1,239 @@
+{
+  "add_bos_token": false,
+  "add_prefix_space": false,
+  "added_tokens_decoder": {
+    "151643": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151644": {
+      "content": "<|im_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151645": {
+      "content": "<|im_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151646": {
+      "content": "<|object_ref_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151647": {
+      "content": "<|object_ref_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151648": {
+      "content": "<|box_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151649": {
+      "content": "<|box_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151650": {
+      "content": "<|quad_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151651": {
+      "content": "<|quad_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151652": {
+      "content": "<|vision_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151653": {
+      "content": "<|vision_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151654": {
+      "content": "<|vision_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151655": {
+      "content": "<|image_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151656": {
+      "content": "<|video_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151657": {
+      "content": "<tool_call>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151658": {
+      "content": "</tool_call>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151659": {
+      "content": "<|fim_prefix|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151660": {
+      "content": "<|fim_middle|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151661": {
+      "content": "<|fim_suffix|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151662": {
+      "content": "<|fim_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151663": {
+      "content": "<|repo_name|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151664": {
+      "content": "<|file_sep|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151665": {
+      "content": "<tool_response>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151666": {
+      "content": "</tool_response>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151667": {
+      "content": "<think>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "151668": {
+      "content": "</think>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "additional_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>",
+    "<|object_ref_start|>",
+    "<|object_ref_end|>",
+    "<|box_start|>",
+    "<|box_end|>",
+    "<|quad_start|>",
+    "<|quad_end|>",
+    "<|vision_start|>",
+    "<|vision_end|>",
+    "<|vision_pad|>",
+    "<|image_pad|>",
+    "<|video_pad|>"
+  ],
+  "bos_token": null,
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|im_end|>",
+  "errors": "replace",
+  "extra_special_tokens": {},
+  "model_max_length": 131072,
+  "pad_token": "<|endoftext|>",
+  "split_special_tokens": false,
+  "tokenizer_class": "Qwen2Tokenizer",
+  "unk_token": null
+}