3月9日消息,北京译心公司表示发布了第一个日文大模型评测平台JaLE.ai。

JaLE(Japanese Language Evaluation),是译心针对日本商业应用对于大型语言模型的需求,推出的日文自然语言评测基准。通过多个的自然语言处理任务及大量标注数据集,为日文大模型的商业应用提供量化评测。

译心是大语言模型领域的技术公司,为海外商业客户提供基于大语言模型的在线客户服务和销售分析SaaS服务。

针对日文领域大规模预训练模型和数据严重不足的问题,译心基于日本市场客户需求持续收集数据,推出了JaLE.ai,进行大规模通用和带标注任务数据集共享,推动学术界和工业界在不同商业应用领域的模型分享和数据评测。

未来JaLE.ai将结合学术界的最新研究成果,推动日文自然语言理解任务的标准化评测和模型共享,并为自然语言生成任务提供更多符合人类评价标准的量化评估指标。

据介绍,译心核心技术团队毕业于清华大学、北京大学、中科院计算所、美国马萨诸塞大学等顶级研发机构,在信息检索和自然语言处理领域的平均研发时间超十年。