现在的人工智能领域陷入了一个非此即彼的怪圈
现在的人工智能领域陷入了一个非此即彼的怪圈。
一边是统治世界的 Transformer 架构,它记性极好,但由于计算量呈平方级爆炸,长文本读得越多就越贵,活脱脱一个吞金兽。 另一边是老牌的 RNN 架构,计算速度极快,成本很低,但它是个彻头彻尾的马大哈,多读两句就会把前面的内容忘得一干二净。

现在的人工智能领域陷入了一个非此即彼的怪圈。
一边是统治世界的 Transformer 架构,它记性极好,但由于计算量呈平方级爆炸,长文本读得越多就越贵,活脱脱一个吞金兽。 另一边是老牌的 RNN 架构,计算速度极快,成本很低,但它是个彻头彻尾的马大哈,多读两句就会把前面的内容忘得一干二净。
