文本

文本行排序与去重工具

在浏览器本地对多行文本进行自然排序、字典序/数值排序、去重、正则过滤,并支持批量添加前后缀与拼接。

免费使用 无需注册 浏览器本地运行

工具操作区

输入文本行 (9)
处理结果 (6)
已移除: 3重复项: 2空行: 1过滤项: 0

1. 排序与去重

2. 清理与过滤

3. 前后缀、行号与拼接

什么是文本行排序与去重工具?

在日常开发与数据排查中,开发者经常需要整理以换行符分隔的列表,例如数据库主键、环境变量名、服务器日志或文件路径。传统的 ASCII 字典序会把 'item-10' 排在 'item-2' 前面;同时行尾隐含的空格或 Windows 回车符(CRLF)常导致去重失败。本工具将空白清理、空行剔除、正则过滤、三种去重模式(常规去重、仅提取重复项、仅提取孤立项)、基于 Intl.Collator 的自然排序以及前后缀包裹整合为一条纯前端流水线,无需编写复杂的 awk 或 sed 脚本即可实时预览结果。

如何对文本行进行排序、去重与格式化

  1. 1将多行列表、日志片段或从表格复制的数据列粘贴到“输入文本行”区域。
  2. 2勾选“去除每行首尾空白字符”与“移除空行”,避免尾部隐藏空格干扰去重结果。
  3. 3选择排序方式(如“自然排序”以确保 file-2 排在 file-10 之前)和所需的去重策略。
  4. 4按需输入正则表达式过滤特定行,或点击“SQL IN (...) 列表”预设为每行加上单引号与逗号,随后一键复制结果。

典型开发与运维场景

快速构造 SQL IN 查询参数

从 Excel 或日志中复制一列订单号或用户 ID,自动剔除空行和重复 ID,并为每项包裹单引号及逗号分隔符,直接粘贴进 WHERE id IN (...) 语句。

排查配置文件或依赖列表中的重复项

将去重策略切换为“仅保留出现过重复的行”,迅速定位合并后的 .env 配置文件、hosts 列表或权限清单中重复定义的键。

清洗应用日志与提取关键错误行

启用正则表达式与反向匹配剔除高频健康检查日志,再对剩余的异常日志做去重与自然排序,快速汇总故障类型。

常见问题

为什么普通字典序会把 'item-10' 排在 'item-2' 前面?自然排序是如何解决的?

字典序(Lexicographical Sort)按字符逐位比较 UTF-16 编码,字符 '1' 的编码小于 '2',因此 'item-10' 会排在前面。自然排序启用了 Intl.Collator 的 numeric: true 选项,将字符串内部连续的数字识别为整体数值进行比较(2 < 10),效果等同于 Linux 终端下的 sort -V 命令。

为什么用命令行 uniq 或编辑器去重时,看起来相同的行没有被去掉?

Linux 的 uniq 命令仅能消除相邻的重复行(必须先执行 sort | uniq),而且混合的 Windows 换行符(\r\n)或行尾肉眼不可见的空格都会导致字节比对不一致。本工具会先统一换行符并执行首尾 trim,再基于哈希表统计频次,即使选择“保持原始顺序”也能精准去重。

“仅保留出现过重复的行”和“仅保留只出现一次的行”有什么区别?

“仅保留出现过重复的行”(对应命令行 sort | uniq -d)只输出在原文中出现 ≥2 次的内容,适合查重排错;“仅保留只出现一次的行”(对应 sort | uniq -u)则会把所有发生过重复的项全部丢弃,只留下严格唯一的记录。

粘贴的业务 ID 或日志会上传到服务器吗?

不会。所有的分词、正则匹配、哈希去重和排序均在浏览器本地内存中同步完成,不发起任何网络请求。