通过docker registry的文件夹获取到所有的镜像

工作需要获取docker registry里所有的镜像和tag,但是系统在磁盘被占满的情况下出现无法工作的情况,无法通过dockers registry的API去获取。
所以尝试通过,registry的文件夹目录结构中取出想要的结果,最后证明可行。

1
2
3
4
5
6
export docker_registry_dir=/opt/bcmt/storage/docker-registry/ # docker registry 的安装目录。

cd ${docker_registry_dir}docker/registry/v2/repositories/; ls -R | grep tags/ | grep -v "current"| grep -v "index" | sort | awk '{a=index($0,"./");b=index($0,"/_manifests/tags/");c=index($0,":"); print substr($0,a+2,b-a-2)":"substr($0,b+17,c-b-17)}'

# 多行换成一行,用逗号分隔
cd ${docker_registry_dir}docker/registry/v2/repositories/; ls -R | grep tags/ | grep -v "current"| grep -v "index" | sort | awk '{a=index($0,"./");b=index($0,"/_manifests/tags/");c=index($0,":"); print substr($0,a+2,b-a-2)":"substr($0,b+17,c-b-17)}' | tr '\n' ','

之前都是用notepad++手动替换处理,这次发现结合这几个命令awk, print, substr, tr就可以搞定,不错!

Cobra支持动态自定义flag

用GO实现了一个binary,这个binary会发送API请求去服务端,服务端完成对K8S环境的部署工作。
由于后端进行了大量封装,并且参数是非常多的,所以有了一个想法,具体的要求如下:

  1. 支持自定义flag列表
  2. help信息支持展示自定义的flag列表
  3. 列表信息来自于一个专门的API

基于这些需求,查询了很多文档后,并没有成功的例子,经过一下午的尝试,最后实现了预期的需求,分享一下。
回头准备写一篇post给cobra。

在Cobra的github repo里开了issue,询问是否有更加优雅和方便的方法,没想到Cobra的Collaborator竟然回复了,看起来现在的实现方法是一个正确的方向。
https://github.com/spf13/cobra/issues/1758

API部分, python flask实现的,简单定义了数据结构,然后返回一个json结果。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
@ns.route('/custom-api')
class CustomAPI(Resource):
def get(self):
flags_list = {
"cert": {
"type": "string",
"des": "add self-signed certs for private registries. Format: registry-name1:/path/to/cert-file1,registry-name2:/path/to/cert-file2,...",
"default": ""
},
"csf-grocery": {
"type": "bool",
"des": "set up CSF Grocery",
"default": True
}
}
return json_success(flags_list)
utils/customized_flags.go
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
package utils

import (
"fmt"
"os"
"strings"

resty "github.com/go-resty/resty/v2"
"github.com/spf13/cobra"
"github.com/spf13/viper"
"github.com/tidwall/gjson"
)

var customizedMap = make(map[string]interface{})

func ParseCutomizedFlags(url string, requiredFlags []string, cmd *cobra.Command, args []string) map[string]interface{} {

if len(requiredFlags) > 0 && len(args) == 0 {
cmd.Help()
fmt.Println()
os.Exit(0)
}

argsArrayString := strings.Join(args, "#")
for _, flag := range requiredFlags {
if !strings.Contains(argsArrayString, "--"+flag) {
fmt.Printf("required flag(s) \"%v\" not set\n", flag)
cmd.Help()
fmt.Println()
os.Exit(1)
}
}

fullURL := viper.GetString("datacenter-server-api") + url
var customizedData gjson.Result
client := resty.New()
resp, err := client.R().ForceContentType("application/json").EnableTrace().Get(fullURL)
if err == nil {
if gjson.Get(resp.String(), "status").String() == "OK" {
customizedData = gjson.Get(resp.String(), "data")
}
} else {
fmt.Println(err.Error())
os.Exit(1)
}

if len(customizedData.Map()) > 0 {
for key_name, valueMap := range customizedData.Map() {
value_type := valueMap.Get("type").String()
if value_type == "string" {
cmd.Flags().String(string(key_name), valueMap.Map()["default"].String(), valueMap.Map()["des"].String())
} else if value_type == "bool" {
cmd.Flags().Bool(string(key_name), valueMap.Map()["default"].Bool(), valueMap.Map()["des"].String())
}
}
}

cmd.DisableFlagParsing = false
err = cmd.ParseFlags(args)
if err != nil {
fmt.Println(err)
cmd.Help()
fmt.Println()
os.Exit(1)
}

if cmd.Flag("help").Value.String() == "true" {
cmd.Help()
fmt.Println()
os.Exit(0)
}

if len(customizedData.Array()) > 0 {
for key_name := range customizedData.Map() {
if cmd.Flag(key_name).Value.String() != cmd.Flag(key_name).DefValue {
customizedMap[key_name] = cmd.Flag(key_name).Value
}
}
}

return customizedMap
}


调用:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
import (
"fmt"

"github.com/spf13/cobra"
"nuke.csf.nokia.net/nuke-cli/utils"
)

var Region string
var requiredFlags []string

var DemoClusterCreate = &cobra.Command{
Use: "demo [string to print]",
Short: "demo anything to the screen",
Long: `demo is for printing anything back to the screen. For many years people have printed back to the screen.`,
RunE: createDemoCluster,
DisableFlagParsing: true,
}

func createDemoCluster(cmd *cobra.Command, args []string) error {

var customizedMap = utils.ParseCutomizedFlags("/api/v1/demo/custom-api", requiredFlags, cmd, args)

for va := range customizedMap {
fmt.Println(va)
fmt.Println(customizedMap[va])
}

fmt.Println(Region)
return nil
}

func init() {
// DemoClusterCreate.Flags().StringVarP(&demoVersion, "version", "v", "1.14", "Venilla version, current can be set as 1.10 , 1.11 1.12")
DemoClusterCreate.Flags().StringVarP(&Region, "region", "r", "zone-a", "(required) AWS region")
// DemoClusterCreate.MarkFlagRequired("region")
//特殊处理required的参数
requiredFlags = append(requiredFlags, "region")

}

最后执行的结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
skeetw@N-20HEPF12NB62 MINGW64 /d/CSF_NCM/CSF-NUKE-CLI (1.0)
$ go run nuke.go create cluster demo --cert xxxx --csf-grocery=false
required flag(s) "region" not set
demo is for printing anything back to the screen. For many years people have printed back to the screen.

Usage:
nuke create cluster demo [string to print] [flags]

Flags:
-h, --help help for demo
-r, --region string (required) AWS region (default "zone-a")

Global Flags:
--datacenter-server-api string data center server api (default "http://127.0.0.1:5678")
--log string nuke log level [debug, info] (default "info")
-o, --output string result output format. [json, yaml, file] (default "json")
--output-folder string when output type if file, all result files will be save to this folder. (default "./output/")
--wrap-processbar if need to wrap process bar when running a long task (default true)

exit status 1

skeetw@N-20HEPF12NB62 MINGW64 /d/CSF_NCM/CSF-NUKE-CLI (1.0)
$ go run nuke.go create cluster demo --cert xxxx --csf-grocery=false --region=989
csf-grocery
false
cert
xxxx
989

skeetw@N-20HEPF12NB62 MINGW64 /d/CSF_NCM/CSF-NUKE-CLI (1.0)
$ go run nuke.go create cluster demo --cert xxxx --region=989
cert
xxxx
989

skeetw@N-20HEPF12NB62 MINGW64 /d/CSF_NCM/CSF-NUKE-CLI (1.0)
$ go run nuke.go create cluster demo --region=989
989

skeetw@N-20HEPF12NB62 MINGW64 /d/CSF_NCM/CSF-NUKE-CLI (1.0)
$ go run nuke.go create cluster demo
demo is for printing anything back to the screen. For many years people have printed back to the screen.

Usage:
nuke create cluster demo [string to print] [flags]

Flags:
-h, --help help for demo
-r, --region string (required) AWS region (default "zone-a")

Global Flags:
--datacenter-server-api string data center server api (default "http://127.0.0.1:5678")
--log string nuke log level [debug, info] (default "info")
-o, --output string result output format. [json, yaml, file] (default "json")
--output-folder string when output type if file, all result files will be save to this folder. (default "./output/")
--wrap-processbar if need to wrap process bar when running a long task (default true)

在GO项目中使用Uber-zap日志框架

现在需要把一个日志框架加入到新的项目中,对比了一下GO语言里的几个日志框架,最后发现zap是个不错的选择。
https://github.com/uber-go/zap
官网也把zap和其他框架做了一些对比,看起挺不错。

不过在集成到Cobra里的过程中遇到了一点点小坑,记录一下。

utils/zap_logger.go
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
package utils

import (
"os"
"sync"

"github.com/natefinch/lumberjack"
"github.com/spf13/viper"

"go.uber.org/zap"
"go.uber.org/zap/zapcore"
)

var sugarLogger *zap.SugaredLogger

func getEncoder() zapcore.Encoder {
encoderConfig := zap.NewProductionEncoderConfig()
// The format time can be customized
encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
return zapcore.NewConsoleEncoder(encoderConfig)
}

// Save file log cut
func getLogWriter() zapcore.WriteSyncer {
lumberJackLogger := &lumberjack.Logger{
Filename: "./nuke.log", // Log name
MaxSize: 10, // File content size, MB
MaxBackups: 5, // Maximum number of old files retained
MaxAge: 30, // Maximum number of days to keep old files
Compress: false, // Is the file compressed
}
return zapcore.AddSync(lumberJackLogger)
}

func InitLog() *zap.SugaredLogger {
var allCore []zapcore.Core
writeSyncer := getLogWriter()
encoder := getEncoder()

consoleDebugging := zapcore.Lock(os.Stdout)
// for human operators.
consoleEncoder := zapcore.NewConsoleEncoder(zap.NewDevelopmentEncoderConfig())

log_level := viper.GetString("log")

if log_level == zapcore.DebugLevel.String() {
allCore = append(allCore, zapcore.NewCore(consoleEncoder, consoleDebugging, zapcore.DebugLevel))
allCore = append(allCore, zapcore.NewCore(encoder, writeSyncer, zapcore.DebugLevel))
} else {
allCore = append(allCore, zapcore.NewCore(consoleEncoder, consoleDebugging, zapcore.InfoLevel))
allCore = append(allCore, zapcore.NewCore(encoder, writeSyncer, zapcore.InfoLevel))
}

core := zapcore.NewTee(allCore...)
// Print function lines
logger := zap.New(core).WithOptions(zap.AddCaller())
return logger.Sugar()
}

var once sync.Once

func SugaredLogger() *zap.SugaredLogger {
once.Do(func() {
sugarLogger = InitLog()
})
return sugarLogger
}

代码中使用了单例,尝试过使用init(), preRun和postRun,发现都无法正常读取viper里的值,很明显是因为初始化先后顺序的问题。
不太确定最佳的解决方案是啥,但是这里弄一个单例,看似是最保险的。

初始后,在core里放了两个对象,可以同时输出到控制台和文件中,文件加了循环。

在别的文件用的时候

1
2
3
utils.SugaredLogger().Infof("info log")
utils.SugaredLogger().Debugf("debug format log")
utils.SugaredLogger().Debug("debug log")

Python判断一个函数是否被一个装饰器修饰

今天正在做新项目的框架,比如下面的gen_task方法是一个很耗时的方法,这样的方法在系统里有很多,于是就写了一个装饰器nuke_long_task用于处理长请求事务,用它去处理一些常规通用的业务,比如记录和更新状态等。

1
2
3
4
5
6
7
@nuke_long_task()
def gen_task(data):
print(" start -- " + threading.current_thread().name)
time.sleep(15)
print(" finish -- " + threading.current_thread().name)
return "%s finish" % (threading.current_thread().name)

装饰器:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
def nuke_long_task():
def out_wrapper(func):
@wraps(func)
def wrapper(*args, **kwargs):

transaction_id = uuid.uuid4().hex
# start a new transaction
update_transaction(transaction_id, TASK_RUNNING)
try:
result = func(*args, **kwargs)
update_transaction(transaction_id, TASK_DONE)
except Exception as exc:
traceback.print_exc()
update_transaction(transaction_id, TASK_FAILED, error_msg=str(exc))
result = {"error": str(exc)}, 500
return result

return result

# flag, make sure this decorator has been added for long task function.
wrapper.nuke_long_task_func = True # 关键代码

return wrapper

return out_wrapper

遇到的问题是,当想把这个业务提交到线程池之前,想去判断一下这个方法gen_task有没有被正确加上这个装饰器nuke_long_task,找了一圈,没有发现好办法,从gen_task的函数中直接找到与nuke_long_task的相关性,于是换了个思路,在装饰器里给加了一行“wrapper.nuke_long_task_func = True”,就可以解决这个问题了。

提交任务:

1
submit_jobs(gen_task, "datas", get_result)

检查方法:

1
2
3
4
5
6
7
def submit_jobs(task_func, task_func_args, callback_func=None):
if hasattr(task_func, 'nuke_long_task_func'):#关键代码
future = executor.submit(task_func, task_func_args)
else:
raise Exception("need to add @nuke_long_task() for task_func")
if callback_func is not None:
future.add_done_callback(callback_func)

以上

linux下根据IP反查MAC

今天遇到一个问题,给一个VM上配置了两个IP,同时配置到了同一个网卡上,结果一个IP通,一个IP不通。
排查半天,最后发现可以在另外一个VM上利用arp命令,查出来两个配置的IP,发现IP对应的MAC不一样,说明其中一个IP的MAC地址是不对的。
这种情况一般是由于IP地址引起,更换一下IP就好了。
同时根据MAC的前几位可以查询一下设备生产厂家,这样大致能猜出来占用IP的是什么类型的设备。

1
2
3
4
[root@skeet-deploy ~]# arp -n
Address HWtype HWaddress Flags Mask Iface
10.99.52.82 ether fa:16:3e:9a:42:d9 C eth0
10.99.52.84 ether fa:16:3e:ef:c2:03 C eth0

McAfee会误认为GoLang多线程程序是病毒

这几天在学习GoLang, 今天遇到一个有趣的现象,写了下面这段关于多线程routine的代码,一执行就会被McAfee认为是病毒。
程序被kill掉,甚至连VS code都被关掉,并且桌面上的VS code图标都被删掉了,有意思。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
package main

import (
"fmt"
"time"
)

func main() {
go c()
fmt.Println("I am main")
time.Sleep(time.Second * 2)
}
func c() {
time.Sleep(time.Second * 2)
fmt.Println("I am concurrent")
}

//=> I am main
//=> I am concurrent

McAfee-log

预览FontAwesome

现在在用的HEXO主题里,有一个标题旁边的图片写错了,导致显示是个方块,挺丑,想从现在的字体里选一个,却不知道怎么弄出来全部的。
发现有个网站,https://icomoon.io/app/#/select
选择导入图标,然后选择SVG文件。
选择一个图标,点下面的产生字体,就能在下一页看到这个图标的16进制编码了。

新一轮学习开始了

新的产品release,经过两个多月的努力已经正式的发布了,突然感觉又要闲下来了。
过去的一段时间还是挺充实的,干的不少的活,下一步计划还没有完全确定下来,不过,现在可以准备学习一个Go Lang了。

坚持到八月

疫情进入第三年,反复暴发,经济大受影响。
外部环境复杂,国际形势多变。
股市一蹶不振,之前的盈利全赔进去,本金也损失了很多。
坚持,再坚持坚持,冥冥中有种感觉,到过了8月份就都好了~