Petals:大型代码模型的协同推理和微调

Alexander Borzunov,Dmitry Baranchuk,Tim Dettmers,Max Ryabinin,Younes Belkada,Artem Chumachenko,Pavel Samygin,Colin Raffel
许多NLP任务利用大型语言模型(LLM)进行推理。这些模型通常具有100亿个参数,但缺乏精确的推理算法。在本文中,我们提出了一种联合推理的系统,该系统通过将多个可处理数据之间的资源相结合来实现。我们证明了这种策略明显优于非常大的推理器,在消费者高分辨率显微镜上运行基于一秒钟...

用户分享观点: