最近，以ChatGPT为首的生成类模型已经成为了人工智能的新热点，硅谷的微软、谷歌等都纷纷大举投资此类技术（微软100亿美元入股ChatGPT背后的OpenAI，谷歌也于近日发布了自研的BARD模型），而在中国以百度等为代表的互联网科技公司也纷纷表示正在研发此类技术并且将于近期上线。
以ChatGPT为代表的生成类模型有一个共同的特点，就是使用了海量数据做预训练，并且往往会搭配一个较为强大的语言模型。语言模型主要的功能是从海量的现有语料库中进行学习，在经过学习之后可以理解用户的语言指令，或者更进一步根据用户的指令去生成相关的文字输出。
生成类模型大致可以分成两大类，一类是语言类生成模型，另一类是图像类生成模型。语言类生成模型以ChatGPT为代表，如前所述其语言模型不仅可以学习理解用户指令的意义（例如，“写一首诗，李白风格的”），而且在经过海量数据训练之后，还能够根据用户的指令生成相关的文字（在上例中就是写一首李白风格的诗）。
这意味着ChatGPT需要有一个足够大的语言模型（Large Language Model，LLM）来理解用户的语言，并且能有高质量的语言输出——例如该模型必须能理解如何生成诗歌，如何生成李白风格的诗歌等等。