首 页 | 要 闻 | 电 商 | 互联网 | 业 界 | 家 电 | 智 能 | 汽 车 | 手 机 | 游 戏 | 动 漫 | 云计算
科 普 | 创 业 | 数 码 | 信息化 | 商 讯 | 产 经 | 商 业 | 财 经 | 移动化 | 大数据 | 中小企业
当前位置 > 主页 > 云计算 >
Meta加入AI军备竞赛:发布开源大语言模型,号称优于ChatGPT
时间: 2023-02-28 15:05 来源:澎湃新闻
【字号 】 【RSS订阅】 【打印】 【关闭

  继微软(250.16, 0.94, 0.38%)、谷歌(90.1, 0.75, 0.84%)之后,脸书(Facebook)母公司Meta(Nasdaq:META)也加入AI军备竞赛。

  当地时间2月24日,Meta官网公布了一款新的人工智能大型语言模型LLaMA,从参数规模来看,Meta提供有70亿、130亿、330亿和650亿四种参数规模的LLaMA模型,并用20种语言进行训练。

  Meta首席执行官马克·扎克伯格表示,LLaMA模型旨在帮助研究人员推进工作,在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面有很大的前景。

  怎么理解人工智能大型语言模型的参数?

  据悉,AIGC(利用人工智能技术来生成内容)形成的学习能力在一定程度上取决于参数的规模。OpenAI推出的ChatGPT是通过其AI大模型GPT-3的基础上通过指令微调后得到的,参数量达1750亿,谷歌推出的Bard使用的是轻量级LaMDA模型,相比标准版本,轻量化版本模型所需要的运算能力较小,能面向更多使用者开放,使其参与体验,有报道指出LaMDA模型参数量在1370亿。百度(139.36, 6.85, 5.17%)文心大模型参数量达到2600亿,阿里(89.25, 0.25, 0.28%)则表示,从过往实践来看,其具备支撑超万亿参数大模型研发的技术实力。

  Meta此次推出的大模型实力如何呢?

  Meta首席AI科学家杨立昆(Yann LeCun)表示,在一些基准测试中,LLaMA 130亿参数规模的模型性能优于OpenAI推出的GPT3,且能跑在单个GPU上;650亿参数的LLaMA模型能够和DeepMind 700亿参数的Chinchilla模型、谷歌5400亿参数的PaLM模型竞争。

  法新社称,按照Meta的表述,LLaMA是一套“更小、性能更好”的模型,且不同于谷歌的LaMDA和OpenAI的GPT机密训练资料和演算,LLaMA是基于公开资料进行训练。

  Meta在官网表示,在大型语言模型中,像LLaMA这样的小型基础模型是可取的,因为测试新方法、验证他人的工作和探索新用例所需的计算能力和资源要少得多。基础模型基于大量未标记的数据进行训练,这使得它们非常适合于各种任务的微调。与其他大型语言模型一样,LLaMA的工作原理是将一系列单词作为输入,并预测下一个单词以递归生成文本。

  Meta称将致力于这种开源模型的研究,新模型会开源给整个AI研究社区使用,并授予大学、非政府组织和行业实验室访问权限。另外,Meta表示其还有更多研究需要做,以解决大型语言模型中的偏见、有害评论等风险。

  Meta披露的2022年第四季度财报显示,该公司已连续第三个季度出现营收同比下滑,四季度营收312.54亿美元,同比下降4%。广告为Meta的支柱业务,为第四季度的总营收贡献超97%,报告期内,尽管广告展现量增长了23%,但单位广告价格下滑了22%。

  截至美东时间2月24日,Meta股价跌0.96%报170.390美元/股,总市值4418亿美元。

【北广科技讯-www.bgkjx.com
    Meta,加入,军备竞赛,发布,开源,大,语言,模型,
    分享组件,请点击:
    推荐新闻:
    ·华为Mate 50将配可变光圈镜头 相关表情包新鲜出炉
    ·Shopee数字银行Maribank开始内测
    ·谷歌云计算调整高层人事
    ·微软发布OneDrive ARM64预览版,全面适配Win11/10 ARM和M1 Mac
    ·红米平板期待吗?饭制海报曝光:支持5G、1999元起
    新闻要闻>>
    ·又一科技巨头加入ChatGPT狂潮!赛富时
    ·谷歌自动驾驶子公司Waymo进行今年第二
    ·仅6.1%应届本科生起薪过万,“钱少、
    ·缺口将接近3000万人!有企业开出百万
    ·香飘飘4个交易日累涨超30%:毛利率企
    ·联网健身设备品牌Interactive Strength申请
    ·春节期间如何留人?上海两大外卖平台
    ·收评:沪指冲高回落跌0.46% 光伏等新能
    ·QuestMobile:Keep跑步用户规模占比50%,居
    ·郭明錤:歌尔“砍单”与瑞声科技无关
    热点财经 >>
    ·Windows 11发布更新,跟iOS和安卓手机打
    ·高通CEO:苹果2024年放弃高通 改用自研
    ·瑞信去年净亏损72.9亿瑞郎,为金融危
    ·三星和LG在为大规模生产首批OLED显示屏
    ·春节后五大品牌新机盘点,你在等哪一
    ·苹果已测试补丁,部分M1/M2 Mac设备出现
    ·三星5G毫米波设备下载速度达10公里间
    ·苹果推送iOS 16.1后 高德地图正式登陆“
    ·双十一格局生变?
    ·小米手环7推送1.27.0.4固件:新增电池管
    科技生活>> ;
    ·香港科技探索上升约12% 瑞银将目标价
    ·消息称推特周末裁员至少200人
    ·新东方在线开盘上涨3% 天风证券指公司
    ·伦敦是全球汽油车驾驶成本第二贵城市
    ·河南:逐步提高预售门槛 以郑州、开
    ·印度超越日本成全球第三汽车消费市场
    ·飙涨超600点!人民币汇率涨势迅猛!释
    ·一晚最高23万,游客在高端酒店“躺平
    ·快讯:新东方在线一度涨超8%新东方涨
    ·新华制药暴涨20%,公司布洛芬市场份额