pmarca分享基于历史文本训练的33亿参数模型信息

robot
摘要生成中

ME News 消息,4 月 3 日(UTC+8),近日,知名人士pmarca在社交媒体上分享了一则关于模型预训练的信息。根据其分享的内容,该模型的预训练语料库使用了来自Huggingface和Internet Archive的、1900年1月1日之前的美国和英国书籍与报纸。经过大量过滤后,约220亿个token被汇编成训练语料库。文中提到,该模型的最佳检查点是一个33亿参数模型。pmarca表示,自2022年12月1日起,他就一直期待此类事物。(来源:InFoQ)

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论