百度开源文心5.5 Flash Base
百度正式开源最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。模型采用MoE架构,总参数量2800亿,每个 Token 激活140亿参数,使用33.5万亿个 Token 完成预训练,预训练上下文长度最高达128K,微调与推理阶段支持最长100万 Token上下文。(新华网)
转载来源:华尔街见闻
发布于
免责声明:市场有风险,投资需谨慎,本文不构成投资建议
百度正式开源最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。模型采用MoE架构,总参数量2800亿,每个 Token 激活140亿参数,使用33.5万亿个 Token 完成预训练,预训练上下文长度最高达128K,微调与推理阶段支持最长100万 Token上下文。(新华网)