GPT-4o

OpenAI为聊天机器人ChatGPT发布的语言模型

GPT-4o的名称中“o”代表Omni，即全能的意思，凸显了其多功能的特性，GPT-4o是OpenAI为聊天机器人ChatGPT发布的语言模型，“可以实时对音频、视觉和文本进行推理，新模型使ChatGPT能够处理50种不同的语言，同时提高了速度和质量，并能够读取人的情绪。可以在短至 232 毫秒的时间内响应音频输入，平均为 320 毫秒，与人类的响应时间相似。

发展历史

2024年5月14日，OpenAI宣布推出其最新旗舰生成式AI模型GPT-4o。GPT-4o的文本和图像功能开始在ChatGPT中免费推出，Plus用户可以享受到5倍的调用额度。

当地时间2024年5月15日，OpenAI联合创始人兼首席执行官山姆·奥特曼就GPT-4o说明称，尽管GPT-4o的文本模式已经发布，但语音模式还未发布。

2024年5月，在巴黎科技活动上，OpenAI开发者体验负责人带来了更多GPT-4o精彩演示，根据地图导航，修改代码。

当地时间2024年7月18日，OpenAI推出名为“GPT-4o mini”的迷你AI模型，该模型是GPT-4o的一个分支。

当地时间2024年7月30日，OpenAI宣布，即日起开始向部分ChatGPT Plus用户开放GPT-4o高级语音模式，并计划于秋季向所有Plus付费用户开放。当地时间8月20日，OpenAI宣布推出GPT-4o微调自定义版本。

2024年12月6日凌晨，OpenAI推出ChatGPT Pro订阅服务，OpenAI称，该套餐的订阅用户可以大规模访问OpenAI旗下最佳的模型和工具，包括GPT-4o。12月18日，OpenAI正式开放了o1模型的API，与预览版相比，GPT-4o的思考成本降低了60%，并新增了高级视觉功能，性能得到显著提升。同时，GPT-4o的音频成本也实现了60%的大幅下降，而mini版本的价格更是暴降了10倍。此外，OpenAI还推出了全新的偏好微调方法，利用直接偏好优化算法，使GPT-4o能够更好地理解和掌握用户的偏好风格，为用户提供更加个性化的服务。

2024年12月31日，OpenAI首席执行官山姆·奥特曼公布了2025年OpenAI即将发布的技术产品。包括更好的GPT-4o升级版，更好的记忆存储、更好的上下文窗口、成人模式、深度研究特色功能、更好的Sora、更好的个性化定制。

2025年2月16日，OpenAI首席执行官萨姆・奥尔特曼（Sam Altman）在社交平台X上表示，该公司对 ChatGPT 4o 进行了更新，并表示其已成为“网上最佳的搜索产品”。奥尔特曼表示，GPT 4o作为OpenAI的最新一代自然语言处理模型，智力将提升至o3 pro水平，不仅在理解和生成语言方面的能力得到了显著提升，其智力水平也达到了新的高度。

主要功能

GPT-4o新模型能够处理50种不同的语言，提高了速度和质量，并能够读取人的情绪。

GPT-4o是迈向更自然人机交互的一步，它可以接受文本、音频和图像三者组合作为输入，并生成文本、音频和图像的任意组合输出，“与现有模型相比，GPT-4o在图像和音频理解方面尤其出色。”

在GPT-4o之前，用户使用语音模式与ChatGPT对话时，GPT-3.5的平均延迟为2.8秒，GPT-4为5.4秒，音频在输入时还会由于处理方式丢失大量信息，让GPT-4无法直接观察音调、说话的人和背景噪音，也无法输出笑声、歌唱声和表达情感。

与之相比，GPT-4o可以在232毫秒内对音频输入做出反应，与人类在对话中的反应时间相近。在录播视频中，两位高管做出了演示：机器人能够从急促的喘气声中理解“紧张”的含义，并且指导他进行深呼吸，还可以根据用户要求变换语调。

性能方面，根据传统基准测试，GPT-4o在文本、推理和编码等方面实现了与GPT-4 Turbo级别相当的性能，同时在多语言、音频和视觉功能方面的表现分数也创下了新高。

图像输入方面，研究人员启动摄像头，要求实时完成一道方程题，新模型轻松完成了任务；研究人员还展示了它对一张气温图表进行实时解读的能力。

它在英语文本和代码上的性能与 GPT-4 Turbo 的性能相匹配，在非英语文本上的性能显着提高，同时 API 的速度也更快，成本降低了 50%。

模型特点

GPT-4o 的特别之处在于它以极为自然的交互方式为每个人带来了 GPT-4 级别的智能，包括免费用户。

在 GPT-4o 上，OpenAI 跨文本、视觉和音频端到端地训练了一个新模型，这意味着所有输入和输出都由同一神经网络处理。

GPT-4o 可以跨文本、音频和视频进行实时推理，这是向更自然的人机交互（甚至是人 - 机器 - 机器交互）迈出的重要一步。

GPT-4o 在理解和生成图像方面的能力比任何现有模型都要好得多，此前很多不可能的任务都变得「易如反掌」。

GPT-4o 还拥有 3D 视觉内容生成的能力，能够从 6 个生成的图像进行 3D 重建。

GPT-4o 可以接收文本、音频和图像的任意组合作为输入，并实时生成文本、音频和图像的任意组合输出。

GPT-4o 对文本越狱攻击的安全性比之前有所提升，但文本模态越狱攻击可迁移性强，可通过多模态形式攻击；新引入的音频模态为 GPT-4o 的越狱攻击暴露了新的攻击面；当前的黑盒多模态越狱攻击方法几乎无效，但实验表明 GPT-4o 多模态层面的安全性弱于 GPT-4V。

应用范围

该模型将在未来几周内分阶段集成至 OpenAI 的各个产品之中。即使是ChatGPT Free（免费）用户也可以有机会体验GPT-4o，但当达到限额时，ChatGPT将自动切换到GPT-3.5。

GPT-4o 是面向未来人机交互范式的全新大模型，具有文本、语音、图像三种模态的理解力，反应极快还带有感情，也很通人性。

高考全卷评测

2024年6月，据上海人工智能实验室官微，司南评测体系OpenCompass选取6个开源模型及OpenAI的GPT-4o开展首个大模型高考“语数外”全卷能力测试。评测采用全国新课标I卷，参与评测的所有开源模型，开源时间均早于高考，确保评测 “闭卷”性。同时，成绩由具有高考评卷经验的教师人工评判，更加接近真实阅卷标准。首个大模型高考全卷评测结果显示，阿里通义千问Qwen2-72B、OpenAI的GPT-4o及书生·浦语2.0文曲星（InternLM2-20B-WQX）成为本次大模型高考的前三甲，对应得分率分别为72.1%、70.5%和70.4%。大部分模型在“语言”本质上的表现良好，语文平均得分率为67%，英语更是达到了81%。而数学则是所有大模型的短板，平均得分率仅为36%；InternLM2-20B-WQX取得了75分的最高分，超过所有受测模型。然而仍未达到及格水平。

开发团队

OpenAI Omni Team