文章 2025-04-04 来自:开发者社区

FlashTokenizer: 基于C++的高性能分词引擎,速度可以提升8-15倍

随着大型语言模型(LLMs)和基于人工智能的应用程序在各行业的广泛部署,对自然语言处理(NLP)工具性能的要求日益提高。分词处理作为NLP流程中的基础环节,对整体推理性能有着决定性影响。分词过程的计算效率直接关系到模型处理文本的速度和资源消耗。在此技术背景下出现了FlashTokenizer,这是一款专注于性能优化的分词处理引擎。 FlashTokenizer技术概述 FlashTokenize....

FlashTokenizer: 基于C++的高性能分词引擎,速度可以提升8-15倍
文章 2020-09-23 来自:开发者社区

搜狗服务器引擎Sogou C++ Workflow开源啦!

搜狗公司开源了其 C++ 服务器引擎 Sogou C++ Workflow,这一引擎实现了高性能、轻量级落地,还引入任务流概念,实现了计算任务与通信任务的统一和协同调度。搜狗服务器引擎Sogou C++ Workflow开源啦!搜狗服务器引擎Sogou C++ Workflow开源啦! 据介绍,目前该引擎支撑着搜狗几乎所有后端 C++ 在线服务,包括所有搜索服务、云输入法与在线广告等,每日处...

搜狗服务器引擎Sogou C++ Workflow开源啦!
文章 2017-11-22 来自:开发者社区

C++一个不错的正则表达式引擎(三)

// // String Elx // template <class CHART> class CStringElxT : public ElxInterface ...{ public:     int Match    (CContext * pContext) const;     int...

文章 2017-11-14 来自:开发者社区

[C++] [正则表达式] 一个不错的正则表达式引擎4C++

// RegEx.cpp : 定义控制台应用程序的入口点。 // // 本文所使用的“正则表达式解析引擎”来自 //&nbsp;http://www.regexlab.com/deelx/ //&nbsp; #include "stdafx.h" #include "Regex.h" /**//// =================================================...

文章 2017-11-14 来自:开发者社区

C++一个不错的正则表达式引擎(二)

// // Implementation // template <class CHART> CBoundaryElxT <CHART> :: CBoundaryElxT(int ntype, int byes) ...{     m_ntype = ntype;     m_byes  = byes; ...

文章 2017-11-08 来自:开发者社区

用C++实现跨平台游戏开发之Irrlicht引擎

Irrlicht引擎是一个用C++书写的高性能实时的3D引擎,可以应用于C++程序或 者.NET语言中。通过使用Direct3D(Windows平台),OpenGL 1.2或它自己的软件着色程序,可以实现该引擎的完全跨平台。尽管是开源的,该Irrlicht库提供了可以在商业级的3D引擎上具有的艺术特性,例如动 态的阴影,粒子系统,角色动画,室内和室外技术以及碰撞检测等(见图1)。 图1.Ir...

文章 2017-10-09 来自:开发者社区

使用 SpiderMonkey 使 C++应用支持 JavaScript 脚本引擎

这个教程的目的是演示如何使你的 C++ 应用能够解释执行 JavaScript 脚本。 SpiderMonkey SpiderMonkey, 是 Mozilla 项目的一部分, 是一个执行JavaScript脚本的引擎. 它用 C 实现。还有一个叫做 Rhino的Java版本。 首先你要下载 SpiderMonkey 的最新版本. 下载包是以源代码形式分发的。这就需要你自己编译...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

开发与运维

集结各类场景实战经验,助你开发运维畅行无忧

+关注