LLM Tokenizer - Count tokens for LLM prompts and responses. | 大模型分词器 - 统计大模型提示词与回复的 token 数量。

Catches memories that contradict each other. Notes rewrite themselves as new ones arrive, link into a graph, and stay separated per agent and per person. Runs on a small model. Requires a local Qdrant. 中文走 jieba 分词，提示词有中文版。

Chinese word segmentation 中文分词模块

chinese word segmentation for node

Chinese word segmentation 中文分词模块

语言云的中文分词服务

中文在线分词, A NodeJS package for pullword.com

根据系统平台类型为SQLite3数据库对象加载simple分词器和分词文件

中文地址分词算法库

基于百度apistore的中文分词系统

web中文分词器

SRT字幕分词工具 - 将SRT字幕文件从句子级别拆分为词语级别

HanLP v1.5.0 自然语言处理 for nodejs ===== * 支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、CRF依存句法分析） * 官方文档：[https://github.com/hankcs/HanLP/blob/master/README.md](https://github.c

Fast Chinese words to pinyin conversion powered by Rust

HanLP v1.5.0 自然语言处理 for nodejs ===== * 支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、CRF依存句法分析） * 官方文档：http://www.hankcs.com/nlp/hanlp.html * 修改 java 源码添加 init 方法,自定义引入 hanLP.

支持中文分词的 w/b 移动

基于 react 实现的自动分词组件

Chinese word segmentation tool based on javascript【基于javascript的中文分词工具】

基于关键词匹配的文档知识库，使用 jieba 分词 + SQLite 倒排索引

chinese word segmentation for node