广告位联系
返回顶部
分享到

golang敏感词过滤的实现

Golang 来源:互联网 作者:佚名 发布时间:2023-01-05 22:18:14 人浏览
摘要

用golang写了敏感词过滤的工具,主要用来检测用户昵称中是否存在敏感词,同时提供剔除转移字符的功能。 可以先将敏感词库存放在一个map中,敏感词可以参考这里:https://github.com/f

用golang写了敏感词过滤的工具,主要用来检测用户昵称中是否存在敏感词,同时提供剔除转移字符的功能。

可以先将敏感词库存放在一个map中,敏感词可以参考这里:https://github.com/fwwdn/sensitive-stop-words

将map和昵称传入,程序会检查昵称的每一个子串,判断是否在map敏感词库中。复杂度O(len(name)^2)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

package util

  

import (

    "github.com/pkg/errors"

    "strings"

  

)

  

type filter struct {

    data        string

    maxLimitLen int

}

  

func NewKeywordFilter(str string, maxLimitLen int) (*filter, error) {

    if len(str) > maxLimitLen {

        return nil, errors.Errorf("长度:%d,不能超过:%d", len(str), maxLimitLen)

    }

    return &filter{

        data:        str,

        maxLimitLen: maxLimitLen,

    }, nil

}

  

func (f *filter) GetData() string {

    return f.data

}

  

func (f *filter) FilterKeywords(keywords map[string]bool) (err error) {

    if keywords == nil {

        return

    }

    for i := 0; i < len(f.data); i++ {

        for j := i + 1; j <= len(f.data); j++ {

            subStr := f.data[i:j]

            if _, found := keywords[subStr]; found {

                err = errors.Errorf("昵称违规,建议修改")

            }

        }

    }

    return

}

  

func (f *filter) TrimAllCharset(ch []string) (err error) {

    if ch == nil {

        return

    }

    for _, c := range ch {

        f.data = strings.Replace(f.data, c, "", -1)

    }

    if len(f.data) == 0 {

        err = errors.New("剔除相关转移字符后,数据长度为0.")

        return

    }

    return

}


版权声明 : 本文内容来源于互联网或用户自行发布贡献,该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权, 违法违规的内容, 请发送邮件至2530232025#qq.cn(#换@)举报,一经查实,本站将立刻删除。
原文链接 : https://blog.csdn.net/liyunlong41/article/details/85160209
相关文章
  • Golang嵌入资源文件实现步骤
    Go文档中展示了多种方式实现外部资源嵌入,包括文本文件、图片、ios文件等: 文本文件 1 2 3 4 5 6 7 package main import _ embed //go:embed schema.sql
  • golang敏感词过滤的实现
    用golang写了敏感词过滤的工具,主要用来检测用户昵称中是否存在敏感词,同时提供剔除转移字符的功能。 可以先将敏感词库存放在一个
  • go语言题解LeetCode228汇总区间介绍
    原题链接 : 228. 汇总区间 给定一个 无重复元素的有序整数数组nums。 返回 恰好覆盖数组中所有数字 的 最小有序 区间范围列表。也就是说,
  • Go使用Gin+mysql实现增删改查的详细实例

    Go使用Gin+mysql实现增删改查的详细实例
    0.前置知识 Go中的struct。 mysql、Gin框架。 Web基础。 1.架构 使用mysql作为数据库,Gin作为Web框架。 2.功能模块 1.自定义Person结构体 2.实现对P
  • 浅析Go语言中数组的这些细节
    Go语言基础二 lencap 书接上文,我们提到二维数组中的第二个维度的数组不能用...来表示,接下来我们要认识两个新的函数,它们分别是len和
  • Go1.20 arena新特性介绍

    Go1.20 arena新特性介绍
    当时我们还想着 Go 团队应该不会接纳,至少不会那么快: 懒得翻也可以看我再次道来,本文提到的提案《proposal: arena: new package providing me
  • Go map发生内存泄漏解决方法
    Go 程序运行时,有些场景下会导致进程进入某个高点,然后就再也下不来了。 比如,多年前曹大写过的一篇文章讲过,在做活动时线上涌入
  • Go语言实现栈与队列基本操作学家

    Go语言实现栈与队列基本操作学家
    go语言中,并没有栈与队列相关的数据结构,但是我们可以借助切片来实现栈与队列的操作;接下来我们一起实现栈与队列基本操作,并且还
  • Golang内存模型The Go Memory Model
    本文翻译了原文并加入了自己的理解。 主要介绍多个 Go协程之间对同一个变量并发读写时需要注意的同步措施和执行顺序问题。并列出几个
  • Golang源码分析之golang/sync之singleflight

    Golang源码分析之golang/sync之singleflight
    1.1. 项目介绍 golang/sync库拓展了官方自带的sync库,提供了errgroup、semaphore、singleflight及syncmap四个包,本次分析singlefliht的源代码。 singleflih
  • 本站所有内容来源于互联网或用户自行发布,本站仅提供信息存储空间服务,不拥有版权,不承担法律责任。如有侵犯您的权益,请您联系站长处理!
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计