通义

阿里云旗下语言模型

通义，由通义千问更名而来，是阿里云推出的语言模型，于2023年9月13日正式向公众开放。属于(AI Generated Content，AIGC)领域，是一个MaaS（模型即服务）的底座。为多模态大模型(Multimodal Models)。

出现背景

时代背景

大模型是人工智能领域的热门研究方向。专家认为，人工智能进入产业级大模型时代。大模型将是未来一段时间科技领域里面最重要的事情之一。大模型将开启人工智能的“大一统时代”。

人工智能是引领新一轮科技革命与产业变革的战略性技术，是赋能经济社会数字化、绿色化双转型的主要引擎,具有很强的“头雁”效应。

这些模型使用大量的多媒体数据资源作为输入，并通过复杂的数学运算和优化算法来完成大规模的训练，以学习和理解到输入数据的模式和特征。这些模式和特征最终通过大模型中庞大的参数进行表征，以获得与输入数据和模型设计相匹配的能力，最终来实现更复杂、更广泛的任务，如语音识别、自然语言处理、计算机视觉等。

技术背景

传统机器学习算法中，可通过图像特征描述子SIFT、SURF、BRIEF进行特征点提取和匹配，车载自动驾驶摄像头里面用的图像识别类算法基本上都是CNN的结构，为卷积神经网络。卷积神经网络认知图像的过程跟人大脑认知图像的原理类似。图像输入即输入摄像头的数据，以每帧信息为基础进行检测、分类、分割等计算，最后利用多帧信息进行目标跟踪，输出相关结果。

视觉算法近年来的突破在泛化性、可提示性、生成质量和稳定性等方面均取得了进展，预示着技术拐点的临近以及爆款应用的涌现。由于扩散算法的成熟，对3D资产生成和视频生成领域有促进作用。

随着科技发展，AI 的开发门槛降低，人们期待小学生也能用各种模型进行开发，因此需要形成一个一个模型的不同层级的结构。一个通用的模型其实也很难解决所有问题，从设计者、开发者的角度出发，围绕着模型作开发的范式逐渐诞生。

2022年11月30日，美国人工智能研究实验室OpenAI推出ChatGPT，这是一种人工智能技术驱动的自然语言处理工具，使用了Transformer神经网络架构，也是GPT-3.5架构，这是一种用于处理序列数据的模型，拥有语言理解和文本生成能力。

ChatGPT会通过连接大量的语料库来训练模型，语料库包含了真实世界中的对话，使得ChatGPT具备上知天文下知地理，还能根据聊天的上下文进行互动，做到与真正人类几乎无异的聊天场景进行交流。ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。也能够通过学习和理解人类的语言来进行对话。

名称由来

初期，通义前身为通义千问，前者的“通义”取自《汉书》中的“天地之常经，古今之通义也”，有“普遍适用的道理与法则”之意；后者的“千问”寓意千万次的问，千万的学问，能问出千问的一定是真爱，能回答千问的，也一定是真有学问，以及AI和阿里云一样，都有千万次交互的热情。

2024年5月，更名为通义，意为“通情，达义”，具备全副AI能力，致力于成为人们的工作、学习、生活助手。

发展历程

2023年4月7日，通义千问开始邀请测试。

2023年4月11日，阿里巴巴所有产品未来将接入通义千问大模型，进行全面改造，包括天猫、钉钉、高德地图、淘宝、优酷、盒马等；同4月，钉钉首次发布基于阿里千问大模型的智能化能力，用户输入斜杠“/”即可唤起10余项AI能力。通义千问 AI 大模型接入天猫精灵，开启相关内测招募。阿里云工程师在实验将千问大模型接入工业机器人，在钉钉对话框输入一句汉字，可远程指挥机器人工作。

2023年9月，通义千问正式向公众开放；淘宝内测应用淘宝问问接入通义千问，基于通义千问的文本理解与文本生成能力实现全新的交互体验以及推荐；同月25日，阿里云宣布开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat，免费可商用；同年10月31日，2023云栖大会现场，阿里大模型家族全面升级发布，通义千问2.0正式升级发布。通义千问App也随之发布。

2023年11月7日，阿里云旗下通义千问 App 上架苹果App Store，安装包大小为 25.9 MB，此前这款 App 已在各大安卓应用市场上架；同月16日，阿里巴巴公告，截至9月30日，钉钉17条产品线已经全面接入大模型。钉钉还面向客户及生态体系合作伙伴开放其智能化底座AIPaaS，以助生态体系参与者重塑其产品。

2023年12月1日，阿里云开源通义千问720亿参数模型Qwen-72B、18亿参数模型Qwen-1.8B及音频大模型Qwen-Audio；同月2月22日，国内首个官方“大模型标准符合性评测”结果公布，阿里云通义千问成为首批通过评测的四款国产大模型之一，在通用性、智能性等维度均达到国家相关标准要求。

2024年1月4日，阿里云旗下的通义千问 App 上线了一项免费的新功能“通义舞王”：用户在按照提示要求上传照片后，经过十几分钟的等待，即可自动生成舞蹈视频；同月22日，由中国一汽联合阿里云通义千问打造的大模型应用GPT-BI落地；同月26日，阿里云公布多模态大模型研究进展。通义千问视觉理解模型Qwen-VL再次升级，继Plus版本之后，再次推出Max版本。

2024年3月22日，阿里云旗下的通义千问宣布升级，向所有人免费开放1000万字的长文档处理功能；同月29日，通义千问团队开源首个MoE模型，名为Qwen1.5-MoE-A2.7B，有27亿个激活参数。

2024年4月3日，刚刚成为阿里云一号AI员工的通义灵码正式上线通义千问APP，并向全民免费开放；同月7日，阿里云通义千问开源320亿参数模型Qwen1.5-32B，可最大限度兼顾性能、效率和内存占用的平衡。通义千问此前已开源5亿、18亿、40亿、70亿、140亿和720亿参数的6款大语言模型并均已升级至1.5版本；同月28日，据“阿里通义千问”消息，通义千问首次推出千亿级参数模型Qwen1.5-110B。Qwen1.5-110B是Qwen1.5系列中规模最大的模型，也是该系列中首个拥有超1000亿参数的模型。

2024年5月，通义千问2.5大模型版本发布并更名为通义。5月21日消息，阿里云宣布通义千问GPT-4级主力模型Qwen-Long，API输入价格从0.02元/千tokens降至0.0005元/千tokens，直降97%。

2024年6月7日，阿里通义千问Qwen2大模型发布，并在Hugging Face和ModelScope上同步开源。

2024年6月21日，携程已接入阿里云通义千问大模型，支持其全球业务发展。此外，哈啰集团已与阿里云达成深度合作，全方位接入阿里云通义大模型。

2024年7月，在2024世界人工智能大会上，阿里云CTO周靖人透露，近2个月，通义千问开源模型下载量增长2倍，突破2000万次，阿里云百炼服务客户数从9万增长至23万，涨幅超150%。

2024年7月26日，巴黎奥运会期间，通义App上线赛事百事通、全民云运动、AI运动写真等多款新功能。这些新功能基于通义大模型打造，让国内体育迷们看奥运、聊奥运的同时，也能体验AI技术带来的观赛新体验。7月31日，阿里通义宣布免费开放奥运AI大模型，具备最强奥运专业知识，并集合同声传译级别的中法互译功能。7月31日起，用户可以在通义APP免费使用。

2024年8月，阿里通义千问开源 Qwen2-Audio 系列的两个模型 Qwen2-Audio-7B 和 Qwen2-Audio-7B-Instruct。8月19日，通义千问宣布启用新域名：tongyi.ai。8月30日消息，通义网页版上线“PPT创作”功能，具备言之有物、设计精美、智能编排三大核心特点。8月30日，阿里通义千问发布第二代视觉语言模型Qwen2-VL，旗舰模型Qwen2-VL-72B的API已上线阿里云百炼平台。9月2日消息，阿里云通义千问宣布开源第二代视觉语言模型 Qwen2-VL，并推出 2B、7B 两个尺寸及其量化版本模型。同时，旗舰模型 Qwen2-VL-72B 的 API 已上线阿里云百炼平台，用户可直接调用。9月19日消息，2024云栖大会上，阿里云CTO周靖人发布通义千问新一代开源模型Qwen2.5。9月19日，阿里巴巴宣布，阿里云百炼平台上的三款通义千问主力模型再次降价。其中，Qwen-Turbo的价格低至每百万输入tokens0.3元，较之前直降85%，Qwen-Plus和Qwen-Max的输入价格则分别降价80%和50%。11月15日，从阿里云方面获悉，旗下大模型通义上线代码模式，一句“大白话”就能生成应用，包括小游戏、数据图表、网站、简历等。11月27日，通义官宣通义App鸿蒙原生版正式上架HarmonyOS NEXT应用市场。12月25日，阿里云通义千问发布首个开源多模态推理模型QVQ-72B-Preview。12月31日，阿里云官宣！本年度第三轮大模型降价，通义千问视觉理解模型全线降价超80%。其中Qwen-VL-Plus直降81%，输入价格仅为0.0015元/千tokens，创下全网最低价格；更高性能的Qwen-VL-Max降至0.003元/千tokens，降幅高达85%。

2025年1月27日，阿里云通义千问Qwen团队正式推出开源的Qwen2.5-1M模型及其对应的推理框架支持。本次发布了两个新的开源模型，分别是Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M，这是Qwen首次将开源的Qwen模型的上下文扩展到1M长度。1月29日，阿里云通义千问旗舰版模型Qwen2.5-Max正式发布。该模型预训练数据超过20万亿tokens。截至2月19日，阿里通义千问开源模型下载量为2亿，基于阿里通义模型衍生模型数量超过9万个，此外阿里的魔搭社区有超过4万家模型入驻，有超过1000万用户数。

主要功能

通义千问是阿里巴巴达摩院自主研发的超大规模语言模型。诞生源于阿里巴巴对人工智能技术的探索和实践，旨在为各行各业提供优质的自然语言处理服务，并且能够应对各种复杂的任务挑战。

截至2024年5月，通义千问提供通义灵码（编码助手）、通义智文（阅读助手）、通义听悟（工作学习）、通义星尘（个性化角色创作平台）、通义点金（投研助手）、通义晓蜜（智能客服）、通义仁心（健康助手）、通义法睿（法律顾问）8大行业模型。

8大行业模型可以帮助人们写代码、读代码、查BUG、优化代码等；短时间内获取长文本提要和概述，掌握要点；对音频内容转写、翻译、角色分离、全文摘要、章节速览、发言总结、PPT提取等功能，并支持标重点、记笔记；可以解读财报研报，分析金融业事件，自动绘制图表表格，实时市场数据分析等。

系列产品

通义灵码

通义灵码可以辅助程序员写代码、读代码、查BUG、优化代码等。掌握Java、Python、Go、JavaScript、TypeScript、C/C++、C#等200多种编程语言，可帮助程序员提升超10%的开发效率。程序员、编程爱好者、学生无需下载专业软件，使用通义千问就能写代码和学代码。

通义智文

通义智文是阿里云推出的基于通义大模型的免费AI阅读助手，可智能阅读网页、论文、图书和文档，帮助用户在短时间内获取提要和概述，掌握要点，提高阅读效率。同时支持自由提问，可解答用户关于文章的问题或其他不解之处。

通义听悟

生活中，音视频承载了密集的信息内容，但因涉及多模态理解、自然语言处理、搜索等多项复杂技术，存在查找难、回顾难、提炼难问题。通义听悟提供包括转写、翻译、角色分离、全文摘要、章节速览、发言总结、PPT提取等功能，并支持标重点、记笔记。

通义听悟也可以通过多语言Query处理、长篇章文本理解、指令演化框架优化及检索增强生成算法，实现对超长音视频的单记录、跨记录、多语言自由问答。

用户不仅可在单一记录页呼唤小悟，对最高6小时、6G大小的音视频提问任何相关话题，可直接要求小悟整理金句、梳理结论、写会议纪要；更可在首页针对用户所有记录提问，支持一次性扫描理解上百条音视频内容；也可对英文视频用中文提问，将直接给出中文回答。

通义星尘

通义星尘是一款个性化角色创作平台，其基于大规模高质量个性化对话数据，采用分阶段的个性化训练策略，使得模型在保持通用能力的基础上，延伸出拟人、具有情感、鲜明语言风格的能力，在角色的个性、风格遵循上具有更强的指令遵循能力。可以深度定义人设、和用户建立起深度连接、支持多种形式的对话互动，并且可以基于具体的事件设定展开对话。可应用于情感陪伴、游戏NPC、IP复刻等场景。

通义点金

通义点金可以解读财报研报，分析金融业事件，自动绘制图表表格，实时市场数据分析。智能投研机器人可以分析事件，绘制表格，查询资讯，研究财报；文档分析机器人可以总结要点，扩展资讯，文档问答，片段分析，财报、研报公告；金融信息搜索引擎可以搜数据、查研报、找公告等。

通义晓蜜

通义晓蜜提供全渠道联络中心与AI应用的整体方案，助力企业服务向信息化、智能化、多模态转型。

其中，对话机器人支持多种形态的知识，比如文档网页、高频问题、复杂多轮、表格、数据库等；智能坐席助理全方位陪伴人工坐席，助力客服、销售业绩提升，提供产品介绍、通话过程剖析、案例沉淀、通话技巧提升等功能；多模态智能联络中心则为全渠道多模态的企业智能服务平台，支持电话、IM、视频统一接入、统一调度服务数据和客户体验完整、一致，也为客户给提供面向下一代的多模态服务体验，告别单调的文字、语音交流。

通义仁心

通义仁心是个人健康助手，提供问报告、问症状、问用药、问疾病功能。

通义法睿

通义法睿能够回答用户提出的法律问题，具有推理法律适用、推送裁判类案、辅助案情分析、生成法律文书、检索法律知识等功能。旨在帮助法律专业人士提高生产力水平，同时也可为非专业人士提供便捷的法律咨询服务。

提供针对用户的法律问题，以法律规定作为大前提，情形匹配作为小前提，按照逻辑三段论推理生成答案；根据用户描述的文本信息或上传的材料信息，结合专业模版定制化生成起诉状、答辩状等文书；利用大模型推理优势，通过语意理解提高用户搜索准确性和相关性，从法规和判例库找准信息。

长文本功能

通义千问向所有人免费开放1000万字的长文档处理功能。通过调优算法或者通过算力甚至使用RAG（检索增强生成技术，是对大型语言模型输出进行优化的方法，使其能够在生成响应之前引用训练数据来源之外的知识库），都可以打造出该体验。

模型框架

通义千问模型基于Transformer框架，采用了开源大语言模型训练方法LLaMA。

模型修改

开发团队对架构主要做了以下修改：

关键技术

Transformer模型的注意力机制在上下文长度上有很大的限制，即随着上下文长度的增加，二层复杂度计算会使模型的计算成本和内存成倍增加。千问模型利用了简单的免训练技术，在推理过程中扩展上下文长度，这些技术包括：

模型训练

千问模型的训练遵循自回归语言建模的标准方法，即模型通过前面Token的内容预测下一个Token，其他训练细节包括：模型训练的最大长度为2048，为了构建批次数据，开发团队对文本内容进行随机打乱及合并，再将其截断到指定长度；模型在注意力模块（attention modules）采用Flash Attention技术，以提高训练速度；模型在优化器（optimizer）方面采用标准优化器AdamW，设置超参数β1、β2和ϵ为别为0.9、0.95和10−8；模型采用余弦学习率计划，为每个模型大小指定一个指定的峰值学习率，学习率衰减至最小学习率峰值学习率的10%；采用BFloat16进行混合精度训练以保证训练稳定性。

平台特色

通义千问大模型是一种大规模预训练模型，旨在解决智能对话、知识图谱推理和其他多模态任务。大模型的一个关键特性是能力泛化，能够适应各种新情景和任务，而不仅仅局限于训练时所遇到的特定任务。

服务特性

通义千问可提供的从IaaS、PaaS到MaaS的三层系统服务能力。

其中，智算IaaS服务包括可支持最大十万卡GPU单集群规模、可承载多个万亿参数大模型同时在线训练的智算集群，可为万卡规模AI集群提供无拥塞通讯的自研RDMA网络架构等；智算PaaS服务以机器学习平台PAI为核心，可支持万卡的单任务分布式训练规模，AI训练效率提升可达10倍，推理效率提升可达6倍，覆盖全链路AI开发工具与大数据服务，深度支持了通义大模型的研发。

智算MaaS服务包括通义大模型系列和以之为基础的企业定制大模型，以及国内首个“模型即服务”开放平台魔搭社区。

内容特性

通义具有知识理解和获取能力。无论是结构化知识还是非结构化知识，模型都能有效理解和抽取，提供相对精确和准确的答案。其次，模型具有泛化能力，无需进行特定任务训练即可进行多模态理解和推理。此外，模型还能够根据给定的情境理解用户的需求，提供相关的、准确的答案。最后，模型具有显著的自适应能力，可以根据不同的应用场景和用户需求进行自我调整。

动辄超千亿参数的大模型研发，不是单一的算法问题，也不是靠简单堆积GPU就能实现的，这是囊括了底层算力、网络、存储、大数据、AI框架、AI模型等复杂技术的系统性工程，需要AI-云计算的全栈技术能力。

算力特性

在算力层面，阿里云为阿里大模型的研发提供了算力体系支撑。阿里云拥有中国唯一自研云操作系统飞天，单集群可达10万台规模，千亿级文件数，EB级别存储空间。阿里云已在全球建立了28个数据中心，是亚洲规模最大的云计算平台。

个性特性

各行各业的生态伙伴都可以结合自己的行业知识及场景需求，对通义大模型进行再训练和精调，打造专属大模型，并集成进自己的行业整体解决方案中。千问专属大模型具有定制化、易集成、可微调、强安全等特点。

安全特性

阿里云为通义提供数据存储空间，通过服务器端加密机制，实现高安全性、高合规性的数据保护。伙伴和企业可以上传自己的行业数据，并调用通义进行重新训练。这些数据不会被用于训练通用版的千问大模型，阿里云和任何第三方都无法触碰。

存在问题

在技术层面，在2023年4月的测试中，通义无法获取最新信息，或意味着训练数据有限。通义千问表示自己的训练数据来自2021年，因此无法获取有关未来的信息。此外，通义千问的缺点是不支持多语言，只支持中文。

合作产品

钉钉接入阿里通义千问大模型，开启全面智能化战略。在钉钉输入斜杠“/”即可唤起智能服务。在只要画个表拍张照，就能生成一个表单小程序。此外，钉钉斜杠还能根据需求撰写文案、设计海报等。

2023年4月，阿里集团副总裁、斑马智行CEO张春晖宣布，AliOS智能汽车操作系统已接入通义千问大模型进行测试，并正式发布斑马智行第三代汽车AI能力体系Banma Co-Pilot，相关技术将会在智己汽车上落地。

2023年4月，阿里云宣布将与OPPO安第斯智能云联合打造OPPO大模型基础设施，基于通义千问完成大模型的持续学习、精调及前端提示工程。同时，吉利汽车、智己汽车、奇瑞新能源、毫末智行、太古可口可乐、波司登、掌阅科技等多家企业表示将与阿里云在大模型相关场景展开技术合作的探索和共创。

截至2023年10月，阿里云与60多个行业进行合作，推动通义千问在办公、文旅、电力、政务、医保、交通、制造、金融、软件开发等领域的落地。也将持续支持千行百业的开发者基于通义千问开源模型进行模型和应用创新。

2023年11月，阿里巴巴宣布，所有产品将接入“通义千问”大模型，进行全面改造，包括天猫、钉钉、高德地图、淘宝、优酷、盒马等。

2024年3月28日消息，全球最大的智能手机芯片厂商MediaTek联发科，已成功在天玑9300等旗舰芯片上部署通义千问大模型，首次实现大模型在手机芯片端深度适配。

2024年4月14日，中国科学院国家天文台人工智能工作组发布基于阿里云通义千问开源模型打造的天文大模型——“星语3.0”。“星语3.0”基于阿里云通义千问开源模型打造，已成功接入国家天文台兴隆观测站望远镜阵列--Mini“司天”。

2024年5月17日，阿里云表示，微博已接入阿里云通义大模型。据悉，微博是阿里云最早一批上云客户，也是阿里云通义大模型的最早客户。

社会评价

行业评价

长文本能力或可以成为大模型公司吸引市场关注，赢得竞争的路径之一，不过要做好“长”“准”、成本三者之间的平衡，还需要不断摸索。(新京报评)

通义千问更成熟了，也更好用了。通义千问2.0在指令遵循、工具使用、精细化创作等方面作了技术优化，能够更好地被下游应用场景集成。通义大模型官网上线了多模态和插件功能，支持图片输入、文档解析等细分任务。（财经网科技频道评）

自我评价

通义千问将提供完备的算力和大模型基础设施，让包括创业公司在内的所有企业和机构更好地实现创新。（阿里云智能首席技术官周靖人评）

OpenAI是目前（截至2023年4月）全球大模型研究领域的引领者，ChatGPT是非常优秀的模式，通义千问还在不断学习和成长中。尤其GPT-4在推理、数学等方面有表现，通义千问尚不能及。当然，通义千问也有自己较为擅长的领域，比如在文本对话、阅读理解等方面。（阿里云评）

内部评价

对于普通人来说，未来也无需下载专业软件，使用通义千问就能写代码和学代码。针对没有代码基础的学生，通义千问可以提供学习建议。正如汽车的出现让一部分马车夫没有了工作，但却产生了司机这个新的职业。人类程序员和 AI 程序员的关系，应该是相互促进、共同学习。（机器之心评）

大模型正在成为人们工作和学习的重要辅助工具，长文档处理是很多用户的刚需，它能针对用户上传的文档进行解析、摘要和问答。随着模型性能升级，大模型的长文档处理能力从早期的几千字发展到后来的几万字、几十万字，如今，阿里通义千问把天花板直线拉高到了千万字。（《钱江晚报》评）