首页/文章/Golang

Go1.23 新特性：新标准库 unique，性能更好，开销更小！

2024-07-24

1557 字约 6 分钟

...

学习

Go1.23 吵来吵去的，现在已经基本尘埃落定了。在我开始写这个新版本特性系列时，Go1.23 rc2 已经发布了有一周多：

今天我们分享的是新的标准库 unique 的介绍和快速入门。

背景

基于 Go unique 官方提案，我简化了一下内容。要做这个主要原因是：Go 缺乏运行时的驻留支持，这与其他语言存在差距。

多年来，Go 社区对弱映射（weak map）和字符串驻留（string interning）的需求已在过去几年的 GitHub 问题中有所体现。

来自 go/issues/62483 给出的动机：

虽然社区中要求这些功能的人很少，但我们看到了 go4.org/intern 包没有内置支持这一功能的后果（简单看了下代码。应该指的是：unsafe 骚操作，会动到 Go 的垃圾回收器逻辑，理论上要跟着 Go 版本调整。挺折腾！）

字符串驻留是什么？

前面的背景存在一些专业名词。尤其是字符串驻留是什么？可能会看的有些懵。这里我们补充一下基础知识。

根据 GPT-4 的概要总结如下：

1、字符串驻留（string interning）是一种在计算机科学中用于优化内存使用和提高性能的技术。

2、主要思想是对于每一个唯一的字符串值，只存储一个副本，这些字符串必须是不可变的。

3、以下是有关字符串驻留的一些关键点：

定义：
字符串驻留是一种存储技术，确保每个独特的字符串值在内存中只存在一个副本。
这意味着如果两个字符串具有相同的值，它们将共享同一个内存地址，而不是每个字符串都占用独立的内存空间。
优势：
节省内存：通过避免重复的字符串副本，可以显著减少内存消耗。
提高性能：字符串比较操作可以通过比较内存地址而不是逐字符比较来实现，从而加快速度。

标准库 unique

标准库 unique[1]，文档非常的短小精悍。这次 Go 官方连个 example 都没有直接给。

在该标准库，unique 会对所有被添加的值进行全局的并发安全缓存，以确保值的唯一性和有效重用。会做到运行时的驻留支持，以此达到开销较佳。

API 如下：

Handle 是 T 类型值的全局唯一标识。
Make 方法为 T 类型的值返回一个全局唯一的 Handle。
Handle[T].Value 方法返回产生 Handle 的 T 值的浅拷贝副本。

一眼看到底。比较直接，这个标准库就是围绕着 unique.Handle 来用。

到底怎么用和有什么好处，通过一个例子就能快速了解优点了。

这个新特性代码片段来自 @Anton 大佬的分享。（还是社区的力量大，不像官方文档一个例子都不给）

在以前我们要用 Go 写一个随机词生成器，可以这么写。

生成单词的代码如下：

`func wordGen(nDistinct, wordLen int) func() string {
vocab := make([]string, nDistinct)
for i := range nDistinct {
  word := randomString(wordLen)
  vocab[i] = word
}
return func() string {
  word := vocab[rand.Intn(nDistinct)]
  return strings.Clone(word)
}
}

func randomString(n int) string {
// 脑子进煎鱼了
const letters = "eddycjyabcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789"
ret := make([]byte, n)
for i := 0; i < n; {
  b := make([]byte, 1)
  if _, err := rand.Read(b); err != nil {
   panic(err)
  }
  ret[i] = letters[int(b[0])%len(letters)]
  i++
}
return string(ret)
}

基于上述方法，我们生成 10000 个单词。看看要使用多少内存。

代码如下：

`var words []string

func main() {
const nWords = 10000
const nDistinct = 100
const wordLen = 40
generate := wordGen(nDistinct, wordLen)
memBefore := getAlloc()

words = make([]string, nWords)
for i := range nWords {
words[i] = generate()
}

memAfter := getAlloc()
memUsed := memAfter - memBefore
fmt.Printf("Memory used: %dKB\n", memUsed/1024)
}

func getAlloc() uint64 {
var m runtime.MemStats
runtime.GC()
runtime.ReadMemStats(&m)
return m.Alloc
}

本地运行的输出结果是：

// 煎鱼 $ go run main.go Memory used: 622KB

现在改用 Go1.23 的新标准库 unique 来写。代码如下：

`var words []unique.Handle[string]

func main() {
const nWords = 10000
const nDistinct = 100
const wordLen = 40
generate := wordGen(nDistinct, wordLen)
memBefore := getAlloc()