InfoQ

RWKV Project Open-Sources LLM Eagle 7B

The RWKV Project recently open-sourced Eagle 7B, a 7.52B parameter large language model (LLM). Eagle 7B is trained on 1.1 trillion tokens of text in over 100 languages and outperforms other ...
GIGAZINE

What kind of language model is `` RWKV '' that removes the `` limit of input amount '' that was a constraint of the conventional large-scale language model?

Almost all large-scale language models in commercial use as of July 2023, such as ChatGPT and Bard, are models that use the transformer architecture. There is a problem that the input size is limited ...
Geeky Gadgets

Eagle-7B open-source AI model uses RWKV-v5 architecture

A new open source AI model has emerged that could reshape the way we think about language processing. The Eagle-7B model, a brainchild of RWKV and supported by the Linux Foundation, is making waves ...

深圳大模型新赛道强在“硬”底色丨聚焦国家高新区新赛道

“以前交水费要跑营业厅，现在手机上喊一声‘深小i，交水费’，几秒就完成，还能实时查询用量。”家住深圳市龙岗区的市民李女士打开“i深圳”APP，高兴地向记者展示人工智能（AI）服务的便捷。 这只是深圳AI大模型应用场景中最寻常的一幕。 当多数城市AI还停留在试点阶段，深圳已实现全域规模化落地。目前，深圳已推出近300个高价值“城市+AI”应用场景，覆盖工业、治理、医疗、金融、文旅等垂直领域，完成了从 ...
腾讯网

无需Attention的未来，RWKV-7能成为替代Transformer的那只黑天鹅吗？

在当今大模型领域，Transformer架构占据着主导地位。然而，尽管Transformer非常强大，但它的计算需求随着文本长度呈平方级增长，这导致运行成本高昂，同时限制了其扩展能力。 与此相对，更为 ...
腾讯网

速看！RWKV-7新模型上线，浏览器可用，黑白棋玩法升级

RWKV 是一种创新的深度学习网络架构，它结合了 Transformer 与 RNN 的优点，同时实现高度并行化训练与高效推理。随着 RWKV-7 架构的发布，RWKV 社区也开源发布了多款基于 RWKV-7 的新项目，包括 RWKV-7 ...
36氪

不走Transformer寻常路，「元始智能RWKV」获数千万天使轮融资 | 36氪首发

要做大模型领域的安卓和Linux。 36氪获悉，大模型架构创新公司元始智能（RWKV）已于12月完成数千万人民币天使轮融资，投资方为天际资本。本轮融资后，公司估值较此前种子轮翻倍，而本轮 ...