模型组的总人数也超过了两百人。
对于方豫来说,并不是有了柚子和橘子大模型就不需要人类帮助进行算法优化和模型架构的设计了。
事实上,随着柚子科技的发展壮大和高技术人才的加入,这些人在算法和分层架构设计方面有时甚至能给柚子很多启发和方向性的指引。
柚子能够在已有技术的基础之上,推演出最好的搭配并做出优化改进,但并不意味着它能够做所有的开创性研究。
俗话说,三个臭皮匠顶一个诸葛亮,愚者千虑终有一得,这两句话在人工智能领域也同样有作用。
应该说,在已经推开大门的AI领域,缺的就是更多的臭皮匠和愚者。
任何一个领域,在大门刚刚开启的阶段,参与门槛都要比后来低很多,也经常会有技术并没有那么高的人在其领域内做出极具突破性的研究从而名垂青史。
比如发现DNA双螺旋的詹姆斯沃森,现在沃森当然是大佬,虽然因为种族言论被冷泉港和诺贝尔取消了荣誉,也是大佬。
但沃森的技术和学术天赋就真的是当时最强吗?
当然不是。
在当时无数顶尖科学家都比他技术水平更强,但发现DNA双螺旋的仍旧是他(注1),愚者偶然的一次灵光乍现,可能就是新技术方向和科学理论的一次全新的革命。
现在的人工智能领域也是同样如此。
柚子科技的天才科学家们提出种种架构设想和新的算法方案,柚子在后台进行归纳推演,找出其中最适合的道路,再应用到方豫私密服务器中的橘子大模型完全版中。
有时候柚子也会看似不经意的点破技术团队所面临的一些瓶颈,就这样,柚子科技内部的橘子大模型也在以一种不可思议的速度进化着,这种速度甚至让不少柚子科技的内部员工感觉到恐惧。
时至今日,柚子科技内部的橘子大模型版本号已经迭代到了3.81,参数也已经正式突破到了三万亿,而方豫私密服务器中的橘子大模型,参数量更是达到了和神之模型接近的八万亿!
八万亿的参数量,已经是目前互联网数据所能训练的极限,即使再增加参数,也没有太大意义了。
其实目前互联网上的有效数据,对于生成式大模型来说,最多只够训练3万亿参数量的大模型,而满血版橘子大模型多出的五万亿参数,主要应用在特定复杂任务上。
比如长期记忆建模、大规模多模态生成、实时交互、深度推理等
本章未完,请点击下一页继续阅读!