智源研究院发中文互联网语料库3.0，含1000GB高质量数据
创始人
2024-09-21 17:21:33
0次
新京报贝壳财经讯（记者白金蕾）9月20日，在2024北京文化论坛“文化潮流：新兴业态与技术融合”平行论坛上，智源研究院天鹰语言模型负责人刘广发布了中文互联网语料库3.0。
中文互联网语料库3.0具有规模空前，来源广泛；精细标注，赋能应用；效果突破，更懂中文等特点。目前中文互联网语料库3.0（CCI3. 0）数据量高达1000GB，包含2.68亿网页；中文互联网语料库3.0高质量子集（CCI3. 0 HQ）数据量达498GB。每条语料从10多个维度进行分析标记，附有安全分数、质量分数、信息密度等参数，方便用户选择高价值数据，满足企业可行化需求，更好发挥数据效能。
据刘广介绍，数据是大模型发展的基石与瓶颈，目前模型训练对数据规模需求大幅增加，互联网站源占比导致中文数据短缺。而有标注的高质量数据才能释放人工智能的价值，如果业界将更多精力放在数据质量上，人工智能的发展才会更快。这是中文互联网语料库3.0的推出背景。
编辑 阎侠
校对 王心
相关内容
热门资讯
“淘宝带货第一人”张大奕关店：...
图为如涵控股在纳斯达克敲钟，第一排白衣女子为张大奕 出品｜搜狐科技 作者｜汉雨棣 编辑｜杨锦 9月2...
第三届琶洲算法大赛举行
9月20日，第三届琶洲算法大赛颁奖暨生态赋能大会在广州琶洲举行。 本届大赛以“算法领航，琶洲奋进”为...
原创 太...
当我们抬头仰望星空时，或许很多人都会想到这样一个疑惑：太阳系为何如此精妙，难道真的是被设计出来的吗？...
智源研究院发中文互联网语料库3...
新京报贝壳财经讯（记者白金蕾）9月20日，在2024北京文化论坛“文化潮流：新兴业态与技术融合”平行...
低空经济领域新产品、新技术、新...
9月20日，在2024成都国际低空装备及服务博览会上，观众在体验无人机模拟驾驶。 9月19日至21日...
32年了，载人航天这些精彩瞬间...
1992年9月21日，中央决策实施载人航天工程并确定了我国载人航天“三步走”的发展战略。今天是载人航...
全球卫星导航排名公布：美国第一...
在全球卫星导航系统领域内，各国竞相布局，以科技之光引领着导航技术的革新与发展。近期，关于印度纳维克卫...
从成都起飞 国产大飞机C919...
从成都起飞 国产大飞机C919首次飞抵拉萨 9月19日，一架C919飞机平稳降落在西藏拉萨贡嘎国...
固态电池革命：能量密度提升20...
全球固态电池市场竞争日益激烈，各大企业和研究机构纷纷投入巨资研发新一代电池技术。近日，由14个欧洲研...
重庆市首届农用无人机驾驶员劳动...
为庆祝中国农民丰收节，推动农业高技能人才队伍建设，近日，重庆市首届农用无人机驾驶员劳动和技能竞赛报名...
无人机空中喊话，助力交通安全管...
扬子晚报网9月20日讯（记者 郭一鹏 通讯员 李倩） “市民朋友，平安出行始于心，拒绝酒驾鉴于行……...
同日激战 华为三折叠手机秒空 ...
▲9月20日，华为智能生活馆(长沙春天百货店)，不少消费者到店体验华为MateXT非凡大师样机。 图...
激光显示全方位“向新” 加速向...
9月19日，2024激光显示技术与产业发展大会在青岛举行。本次大会上不仅展出了众多激光显示创新技术新...
华为再出大招！深圳全球具身智能...
【ITBEAR】9月21日消息，华为全联接大会2024于9月19日至21日在上海盛大召开，本次大会以...
灞桥区石佛寺小学开展迎中秋系列...
阳光讯（记者 梁永飞 通讯员 刘磊）为了弘扬我国传统文化，增强学生对传统节日的认识，西安市灞桥区石佛...
落地成都！今天，8个重大项目签...
沉浸式体验重返地球、登陆月球、海洋探险等飞行游戏，与飞行汽车、全球首款无人驾驶电动垂直起降（eVTO...
浦东这些小区引入“AI侦探”，...
新民晚报讯（记者 曹博文）为破解电动车安全管理难题，浦东新区高行镇依托高行绿洲二期小区于今年6月试点...
升级数据飞轮：数据中台如何助力...
#有了数据中台，是否需要升级到数据飞轮？需要怎么做？# 这个话题中提到了两个问题。 问题一：分别是有...
曲靖市科技馆科普大篷车走进马龙...
在全国科普日来临之际，为了激发青少年学科学、爱科学、用科学的兴趣，将科普知识传播到校园，9月18日曲...
快手高级副总裁盖坤：可灵AI正...
新京报贝壳财经讯 （记者白金蕾）近期，快手科技2024年投资者日活动在总部元中心举办。快手高级副总裁...