欢迎阅读 OSCHINA 编辑部出品的开源日报,每天更新一期。
# 2024.9.5
今日要闻
阿里通义千问全系列大模型被 GitHub 下架,所有仓库页面「404」
9月5日早上,有开发者在社交平台上称在GitHub上打开阿里云Qwen页面后显示404。
阿里高级算法专家林俊旸在社交媒体上表示:“GitHub 因未知原因标记了我们的组织,我们正在尝试与他们联系以寻求解决方案。”
直到当天下午,阿里通义千问全系列大模型的开源代码仓库恢复正常访问。https://github.com/QwenLM
零一万物开源 Yi-Coder 系列编程助手模型
零一万物正式开源了 Yi-Coder 系列编程模型。Yi-Coder 系列模型专为编码任务而生,提供 1.5B 和 9B 两种参数。其中,Yi-Coder-9B 的表现号称 “优于其他 10B 参数以下的模型”,如 CodeQwen1.5 7B 和 CodeGeex4 9B,甚至能够 “与 DeepSeek-Coder 33B 相媲美”。
Yi-Coder 能够处理最长 128K tokens 的上下文内容,适用于复杂项目级代码的理解和生成。Yi-Coder 还支持 52 种主要编程语言。
微软在Windows 11集成中国开源大模型架构RWKV、装机量近5亿
2024 年 9 月 ,RWKV 社区成员发现:Office 系统在自动更新后(版本 2407 及以后)已自带 RWKV 运行库。
在 Windows 系统的 C:\Program Files\Microsoft Office\root\vfs\ProgramFilesCommonX64\Microsoft Shared\OFFICE16
目录,可以找到一系列 rwkv
dll(动态链接库) 文件。
由于正版 Windows 大多预装了 Office 365,因此,全球大多数 Windows 10 和 11 机器现已搭载 RWKV,包括线下商店中售卖的 Windows 机器。这意味着 RWKV 的装机量可达几亿台。
RWKV 是真正的开源架构(目前在 Linux Foundation 旗下),遵循 Apache 2.0 协议,可用于商业,欢迎大家在各个项目使用。
RWKV 的最新架构为 RWKV-6,且 RWKV-7 即将公布。
著名未来学家凯文·凯利(KK)预测人工智能三大趋势
2024 Inclusion・外滩大会今天在上海黄浦世博园区开幕。
著名未来学家、《连线》杂志创始主编、《5000 天后的世界》作者凯文・凯利(Kevin Kelly,“KK”)在开幕主论坛上的演讲中指出,当人工智能深刻影响经济和文化,必将涌现三大趋势:全球主义、创新加速和 AI 驱动生成。
今日观察
社交观察
大鱼吃小鱼!AI芯片初创公司,前景不妙
从谷歌的TPU、苹果的M1和M2、微软Maia 100和Cobalt 100、Meta的MTIA、亚马逊的Trainium和Inferentia、特斯拉的Dojo,到英特尔的FPGA系列、AMD的MI300系列……巨头们一次次冲击着英伟达的帝国围墙。
而在AI竞速的大时代里,涌现了一大批初创GPU、AI芯片公司,这些从业者和科技厂商们无不在找寻突破口。全球初创企业如今正试图证明它们可以在某些应用领域提供比行业巨头英伟达更好的芯片解决方案。虽然英伟达的GPU继续主导人工智能(AI)领域,但AI初创企业认为,GPU的高能耗和庞大的设计留下了市场空隙,供新兴企业填补,希望分享AI技术繁荣带来的利益。
- 半导体产业纵横
RWKV.cpp是底层C++实现通过传统C接口暴露带Python调用入口的loader
所以RWKV是基于RNN但达到Transformer性能的模型架构,而这个RWKV.cpp是底层C++实现通过传统C接口暴露带Python调用入口的loader。特点就是可以在CPU上通过SSE啊NEON啊这些指令集跑得飞快,当然也兼容GPU,所以低耗高效。好的好的,C++项目我喜欢,不管三七二十一先fork一个先
- 微博 wingc
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
训练代码、中间 checkpoint、训练日志和训练数据都已经开源。
尽管大语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。
对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建和部署成本过高。改善成本 - 性能的一种方法是使用稀疏激活混合专家 (MoE)。MoE 在每一层都有几个专家,每次只激活其中的一个子集(参见图 2)。这使得 MoE 比具有相似参数量的密集模型更有效,因为密集模型为每个输入激活所有参数。
- 微博 机器之心
LakeSoul 提供了原生的 Python 接口
- 微博 朱亚东-数元灵
媒体观察
IBM败走中国
在过去二十年间,IBM犯了一系列战略错误,包括在云计算领域的布局起步较晚,错过利用开源生态系统构建其产品和服务的机遇;传统业务市场被云计算和现代化服务替代者抢占;备受期待的人工智能平台Watson商业化应用不达预期。
2012年开始,IBM全年营收开始逐年下降,2013年营收跌破千亿。到2023年,IBM营收仅有618亿美元。
业绩下滑原因系传统硬件业务销售下滑,云计算和软件业务逐渐成为IBM的核心收入来源,新兴业务虽然增长迅速,但未能完全弥补传统业务下滑的影响。
而在中国,IBM要面临更为复杂的境况。
美国对中国的技术出口限制、对中国企业的制裁,导致外企在中美之间的研发合作、技术转移和跨境数据流动变得比以往更加困难。在移动互联网兴起的十年前,人们认为世界会越来越“平”,随着信息高速流通,国家之间的鸿沟将被逐渐弥合。但十年后的今天,全球化开始退潮,“地球村”的畅想已成明日黄花。
- 界面新闻
智谱AI,又融资了
今日,伴随中关村科学城公司通过公众号宣布以投前200亿元估值,领投智谱新一轮融资,方才尘埃落定。
对于投后估值以及更多融资信息,智谱官方未给予置评。而这也是智谱,连续两年,年内被曝完成3轮融资。去年至今,该公司已完成6轮融资。
值得一提的是,智谱先后获得阿里、腾讯、美团、小米等诸多互联网大厂押注,以及红杉、高瓴、君联、顺为等知名机构的投资,在AI大模型公司中,可谓一枝独秀。
成立至今,智谱一直是市场上炙手可热的存在。早在2019年8月,成立仅2个月,华控基金、中科创星等就已火速入股。2021-2021年,该公司则先后在9月份获得A、B轮融资。
- 猎云网
阿里云、字节、浪潮信息、英特尔、电标院:OpenBMC成服务器固件发展的“事实标准”
传统BMC虽然可以实现部分管理,但是在快速迭代的当今尤其是在AI技术的驱动下,存在开发周期长、交付困难、应用单一等难题,并且由于其代码闭源也会导致隐藏的安全漏洞无法及时识别,限制了用户定制开发。OpenBMC凭借领先的开源理念、可扩展的软件架构,被大型互联网厂商广泛应用,并带动了产业连上下游共同探索,逐步成为服务器固件发展的"事实标准"。
在日前召开的2024开放计算中国峰会上,来自阿里云、字节跳动、浪潮信息、英特尔以及电子标准院的专家,从自身探索和实践的角度,现身说法各家在OpenBMC方面的最新进展及未来规划。
通信效率超98%!壁仞科技实现中国首个三种异构芯片混训技术
为了解决用户需求和技术挑战,壁仞科技团队攻坚异构GPU训练难点,自主研发出原创异构GPU协同训练方案HGCT,通过异构调度、异构通信、异构拆分三层架构,实现了一套统一方案支持多种不同型号、不同厂商的GPU,业界首次支持3种及以上异构GPU混合训练同一个大模型。
壁仞科技表示,这一异构GPU协同训练方案对于行业端有两个意义:1、该方案最终价值实现了国产GPU和英伟达GPU的异构共存,突破异构算力孤岛难题,加快国产GPU的落地迁移,助力国产大模型落地;2、该方案赋能整个算力产业发展,壁仞HGCT方案具备普适性、易用性、兼容性,助力最终客户实现多种异构算力聚合,最大化异构GPU集群利用效率。
- 钛媒体
“稚晖君” 停更这一年:想赢下人形机器人,要像运营大公司那样去创业
“在学校里学习更多是自底向上,先打好基础然后做上层应用,出了校园之后更多是自顶向下,以项目导向,缺啥学啥。” 彭志辉说。聊到时间管理方法,他说是 “操作系统中的抢占式调度”,动态调整任务优先级,允许打断,但是任何时间都专注于当前的任务。
他不喜欢 “天才少年” 的称呼,他觉得教科书中那些能改变人类发展进程的科学家才是天才。
相比过去用几个月就能独自完成的小型项目,参与创办一家公司开发成功的产品要难得多。他要从单兵作战走向带团队协作,做出来的东西不能只是酷,还要能赚钱。这是一场新的、更复杂的学习。
- 晚点LatePost
今日推荐
每日一博
深入理解 Babel - 微内核架构与 ECMAScript 标准化
随着浏览器版本的持续更新,浏览器对 JavaScript 的支持越来越强大,Babel 的重要性显得较低了。但 Babel 的设计思路、背后依赖的 ECMAScript 标准化思想仍然值得借鉴。
本文涉及的 Babel 版本主要是 V7.16 及以下,截至发文时,Babel 最新发布的版本是 V7.25.6,未出现大版本更新,近 2 年也进入了稳定迭代期,本文的分析思路基本适用目前的 Babel 设计。
开源之声
用户观点
Vue 3.5“天元突破红莲螺岩”正式发布
- 观点 1:还在用vue2.x, 也挺好
- 观点 2:上月入职一公司。我之前学了vue3,但公司项目是vue2,写的我真难受,很不习惯
阿里通义千问(QwenLM)全系列大模型被GitHub下架,访问repo显示「404」
- 观点 1:已经快5年不用github了,中心化的东西一蹦全瘫痪了
- 观点 2:应该是美国当局怀疑大模型背后有暗门,当心他们本国用户下载使用后被标记定位或外传数据,他们自己的大模型可是严格管控的。
- 观点 3:吓得我立刻备份 github 所有私有库
---END---
最后,欢迎扫码下载「开源中国 APP」,阅读海量技术报告、程序员极客分享!