ChatGPT在技术路径上采用的是“大数据+大算力+强算法=大模型”路线,又在“基础大模型+指令微调”方向探索出新范式,其中基础大模型类似大脑,指令微调是交互训练,两者结合实现逼近人类的语言智能
据估算,此类大模型的训练一次的成本接近千万美元,运营成本一个月要数百万美元。“OpenAI为了让ChatGPT的语言合成结果更自然流畅,用了45TB的数据、近1万亿个单词来训练模型,大概是1351万本牛津词典。”


相关内容

回顶部