在 K8s 中部署 Nexus 私服仓库
介绍
Nexus 是用于管理和托管软件包的私有仓库管理系统。它提供了一个集中化的存储位置，用于保存软件组件、库文件、依赖项和其他二进制文件。
仓库类型
Nexus 仓库按用途分为四种类型：
- Blob Stores：用于存储实体数据的仓库。
- Hosted：本地仓库，可用于上传和下载本地构件。
- Proxy：代理仓库，可通过代理仓库下载外部仓库的构件。
- Group：仓库组，可包含本地和代理仓库的集合。
其他参考
Maven 相关配置参考：简书
Nexus 开启 https 参考：cnblogs
部署
Nexus 3.x 版本支持 Docker 镜像仓库，并且使用 OrientDB 数据库来存储仓库数据。部署选择最新版 3.38.1。
准备工作
声明应用名和环境，建立发布文件存放目录：
[root@k8s-101 ~]# export APPNAME=nexus
[root@k8s-101 ~]# export APPENV=local
[root@k8s-101 ~]# mkdir -p /hxz393/${APPENV}/${APPNAME}/apply创建 SVC
Web 端口和 Docker 上传下载端口都可用 Nginx 做反向代理，直接通过域名操作，但对网络速度要求很高。如果网络不稳，会出现大容量镜像推送时中断，陷入反复重试循环。因此还是优先通过内网端口推送，将端口暴露出来：
[root@k8s-101 ~]# tee /hxz393/${APPENV}/${APPNAME}/apply/${APPNAME}-svc.yaml<<EOF
apiVersion: v1
kind: Service
metadata:
name: ${APPNAME}-svc
namespace: ${APPENV}
spec:
type: NodePort
ports:
- name: web
port: 80
targetPort: web
nodePort: 8081
selector:
app: ${APPNAME}
---
apiVersion: v1
kind: Service
metadata:
name: ${APPNAME}-svc-docker-pull
namespace: ${APPENV}
spec:
type: NodePort
ports:
- name: docker-pull
port: 80
targetPort: docker-pull
nodePort: 10007
selector:
app: ${APPNAME}
---
apiVersion: v1
kind: Service
metadata:
name: ${APPNAME}-svc-docker-push
namespace: ${APPENV}
spec:
type: NodePort
ports:
- name: docker-push
port: 80
targetPort: docker-push
nodePort: 10008
selector:
app: ${APPNAME}
EOF
[root@k8s-101 ~]# kubectl apply -f /hxz393/${APPENV}/${APPNAME}/apply/${APPNAME}-svc.yaml
[root@k8s-101 ~]# kubectl -n ${APPENV} get svc -owide | grep ${APPNAME}创建 STS
Nexus 对内存和储存消耗很大，在生产环境需要配置大一点：
[root@k8s-101 ~]# tee /hxz393/${APPENV}/${APPNAME}/apply/${APPNAME}-sts.yaml<<EOF
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: ${APPNAME}-sts
namespace: ${APPENV}
spec:
serviceName: ${APPNAME}-svc
replicas: 1
selector:
matchLabels:
app: ${APPNAME}
template:
metadata:
labels:
app: ${APPNAME}
spec:
terminationGracePeriodSeconds: 60
nodeSelector:
NodeEnv: ${APPENV}
containers:
- name: ${APPNAME}
image: sonatype/nexus3:3.38.1
imagePullPolicy: IfNotPresent
resources:
requests:
memory: 500Mi
limits:
memory: 4200Mi
ports:
- name: web
containerPort: 8081
- name: docker-pull
containerPort: 10007
- name: docker-push
containerPort: 10008
env:
- name: TZ
value: Asia/Shanghai
securityContext:
runAsUser: 0
runAsGroup: 0
startupProbe:
tcpSocket:
port: web
timeoutSeconds: 6
failureThreshold: 60
periodSeconds: 5
readinessProbe:
tcpSocket:
port: web
timeoutSeconds: 10
periodSeconds: 35
livenessProbe:
tcpSocket:
port: web
timeoutSeconds: 10
periodSeconds: 60
volumeMounts:
- name: data
mountPath: /nexus-data/
subPath: data/
volumeClaimTemplates:
- metadata:
name: data
spec:
storageClassName: kube-sc
accessModes: [ "ReadWriteMany" ]
resources:
requests:
storage: 50Gi
EOF
[root@k8s-101 ~]# kubectl apply -f /hxz393/${APPENV}/${APPNAME}/apply/${APPNAME}-sts.yaml
[root@k8s-101 ~]# kubectl -n ${APPENV} get sts,po -owide | grep ${APPNAME}
[root@k8s-101 ~]# kubectl -n ${APPENV} logs -f ${APPNAME}-sts-0第一次部署时间比较长。
配置域名
配置前端访问域名 nexus.x2b.net：
[root@k8s-101 ~]# vi /hxz393/local/nginx/config/conf.d/nexus.x2b.net.conf
server {
listen 80;
listen 443 ssl;
server_name nexus.x2b.net;
ssl_certificate /cert/x2b.net.pem;
ssl_certificate_key /cert/x2b.net.key;
ssl_session_timeout 5m;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
ssl_protocols TLSv1.2 TLSv1.3 SSLv3;
ssl_prefer_server_ciphers on;
location / {
proxy_pass http://nexus-svc.local/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto "https";
}
}配置专用域名 docker.x2b.net 用于 Docker 镜像拉取推送：
[root@k8s-101 ~]# vi /hxz393/local/nginx/config/conf.d/docker.x2b.net.conf
upstream docker_get {
server nexus-svc-docker-pull.local;
}
upstream docker_put {
server nexus-svc-docker-push.local;
}
server {
listen 80;
listen 443 ssl;
server_name docker.x2b.net;
ssl_certificate /cert/x2b.net.pem;
ssl_certificate_key /cert/x2b.net.key;
ssl_session_timeout 5m;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
ssl_protocols TLSv1.2 TLSv1.3 SSLv3;
ssl_prefer_server_ciphers on;
chunked_transfer_encoding on;
# 设置默认使用推送代理
set $upstream "docker_put";
# 当请求是GET也就是拉取镜像的时候,这里改为拉取代理,如此便解决了拉取和推送的端口统一
if ( $request_method ~* 'GET') {
set $upstream "docker_get";
}
location / {
proxy_pass http://$upstream;
proxy_set_header Host $host;
proxy_connect_timeout 3600;
proxy_send_timeout 3600;
proxy_read_timeout 3600;
proxy_set_header X-Real-IP $remote_addr;
proxy_buffering off;
proxy_request_buffering off;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto http;
}
}
[root@k8s-101 ~]# for i in $(kubectl get pod -n local|grep nginx|awk '{print $1}');do kubectl exec -it -n local $i -- nginx -s reload; done配置
配置仓库和策略等。
修改密码
第一次部署后，获取管理员 admin 默认登录密码：
[root@k8s-101 ~]# kubectl -n local exec -it nexus-sts-0 -- cat /nexus-data/admin.password
b0736b15-cde5-4ab0-b880-b21767b99366登陆后点击用户管理重设密码。
禁止匿名访问
默认情况下匿名用户可以看到仓库内容。点击设置中的 Security > Anonymous Access，去除勾选允许匿名访问（Allow anonymous users to access the server）再保存。
添加权限
点击设置中的 Security > Realms，将左侧的认证方式全部加入到右边，点击保存。
配置 Docker 仓库
为了不被混淆，先把默认库都删除。
建立 Blob 库
在 Blob Stores 页面点击新建：
- Type：选择 File 表示本地文件储存。
- Name：输入仓库名
docker-blob。
点击保存完成。
建立 Hosted 库
在 Repositories 页面点击新建，类型选择 docker(hosted)：
- Name：输入仓库名
docker-hosted。 - HTTP：设置端口为
10008。 - Blob store：选择刚才新建的仓库
docker-blob。
默认策略为 Allow redeploy 允许覆盖上传，点击创建完成。
建立 Proxy 库
在 Repositories 页面点击新建，类型选择 docker(proxy)：
- Name：输入仓库名
docker-proxy-dockerio。 - Remote storage：输入官方 docker 仓库地址
https://registry-1.docker.io。 - Docker Index：选择使用 Docker Hub 索引。
- Blob store：选择仓库
docker-blob。
点击创建来完成。同理可以创建阿里云镜像仓库代理，地址为用阿里云账号申请的私有地址。
建立 Group 库
在 Repositories 页面点击新建，类型选择 docker(group)：
- Name：输入仓库名
docker-group。 - HTTP：设置端口为
10007。 - Blob store：选择仓库
docker-blob。 - Member repositories：逐个添加代理和本地仓库到右边成员列表。hosted 库放最上面。
点击创建完成。
创建 Secret
K8s 中使用私有仓库需要指定仓库用户名和密码。先创建 Secret：
[root@k8s-101 ~]# kubectl create secret docker-registry nexussecret --docker-server=192.168.1.253:10007 --docker-username='admin' --docker-password='9pFmd,C@DP2hZJ*O' --namespace=local
[root@k8s-101 ~]# kubectl get secret -n local用打补丁的方式，把 Secret 分配给不同命名空间默认 SA，这样在发布文件中不需要指定 imagePullSecrets 参数了:
[root@k8s-101 ~]# kubectl patch sa default --namespace=test -p '{"imagePullSecrets": [{"name": "nexussecret"}]}'创建 Secret（另类）
另外一种更规范创建 Secret 的方式。先登录仓库：
[root@k8s-101 ~]# docker login 192.168.1.253:10007将用户密码记录文件转为 base64 编码：
[root@k8s-101 ~]# cat /root/.docker/config.json|base64 -w 0
ewoJImF1dGhzIjogewoJCSIxOTIuMTY4LjEuMjUzOjEwMDA3IjogewoJCQkiYXV0aCI6ICJZV1J0YVc0Nk9YQkdiV1FzUTBCRVVESm9Xa29xVHc9PSIKCQl9LAoJCSIxOTIuMTY4LjEuMjUzOjEwMDA4IjogewoJCQkiYXV0aCI6ICJZV1J0YVc0Nk9YQkdiV1FzUTBCRVVESm9Xa29xVHc9PSIKCQl9LAoJCSJkb2NrZXIuemhvbmdtZWl6aHV6YW8uY29tIjogewoJCQkiYXV0aCI6ICJZV1J0YVc0Nk9YQkdiV1Fz再建立 Secret 将登录信息储存：
[root@k8s-101 ~]# vi secret-login.yaml
apiVersion: v1
kind: Secret
metadata:
name: dockerlogin
namespace: dev
data:
.dockerconfigjson: ewoJImF1dGhzIjogewoJCSIxOTIuMTY4LjEuMjUzOjEwMDA3IjogewoJCQkiYXV0aCI6ICJZV1J0YVc0Nk9YQkdiV1FzUTBCRVVESm9Xa29xVHc9PSIKCQl9LAoJCSIxOTIuMTY4LjEuMjUzOjEwMDA4IjogewoJCQkiYXV0aCI6ICJZV1J0YVc0Nk9YQkdiV1FzUTBCRVVESm9Xa29xVHc9PSIKCQl9LAoJCSJkb2NrZXIuemhvbmdtZWl6aHV6YW8uY29tIjogewoJCQkiYXV0aCI6ICJZV1J0YVc0Nk9YQkdiV1Fz
type: kubernetes.io/dockerconfigjson之后通过 imagePullSecrets 参数来指定使用。
配置 Maven 仓库
Maven 仓库可以按照实际情况，建立多个 hosted 和 group 库，来区分不同构建环境。
建立 Blob 库
创建一个 Maven 专用 Blob 库：
- Type：选择
file。 - Name：输入
maven-blob。
点击保存完成。
建立 Hosted 库
在 Repositories 页面点击新建，类型选择 maven2(hosted)：
- Name：输入
maven2-hosted-local。 - Version policy：选择
Mixed。 - Blob store：选择
maven-blob。 - Deployment policy：选择
Allow redeploy来允许重复发布。
点击创建完成。
建立 Proxy 库
在 Repositories 页面点击新建，类型选择 maven2(proxy)：
- Name：输入
maven2-proxy-aliyun。 - Remote storage：填阿里云镜像仓库地址
https://maven.aliyun.com/repository/public。 - Blob store：选择
maven-blob。
点击创建完成。同理创建一个 maven 官方库代理 maven2-proxy-maven，地址为 https://repo1.maven.org/maven2/。
建立 Group 库
在 Repositories 页面点击新建，类型选择 maven2(group)：
- name：输入
maven2-group-local。 - Version Policy：选择
Mixed混合。 - Blob store：选择
maven-blob。 - Member repositories：将对应仓库以 hosted 库在前，proxy 库在后的方式加入到右边列表。
点击创建完成。
配置 npm 仓库
当构建前端项目的时候，常常会指定镜像地址：--registry=https://registry.npm.taobao.org ，使用私服做代理可以节约流量和时间。
建立 Blob 库
创建一个 npm 专用 Blob 库：
- Type：选择
file。 - Name：输入
npm-blob。
点击保存完成。
建立 Hosted 库
在 Repositories 页面点击新建，类型选择 npm(hosted)：
- Name：输入仓库名
npm-hosted-local。 - Blob store：选择仓库
npm-blob。 - Deployment policy：选择
Allow redeploy允许重复发布。
点击创建完成。
建立 Proxy 库
在 Repositories 页面点击新建，类型选择 npm(proxy)：
- Name：输入
npm-proxy-npm。 - Remote storage：填官方仓库地址
https://registry.npmjs.org。 - Blob store：选择
npm-blob。
点击创建完成。另外建立一个指向淘宝镜像站 https://registry.npm.taobao.org 的代理仓库 npm-proxy-taobao。
建立 Group 库
在 Repositories 页面点击新建，类型选择 npm(group)：
- name：输入
npm-group-local。 - Blob store：选择
npm-blob。 - Member repositories：将左侧仓库以 hosted 库在前的方式加入到右边列表。
点击创建完成。
清理策略
私有仓库如果不及时清理，空间会越来越大。在 Cleanup Policies 中，可以建立针对仓库的清理策略。这里只清理 Jar 包：
- 名称：输入名称为
maven2-clean。 - 格式：选择格式为
maven2。 - 清理标准：设置清理策略 Component Usage 为 7 天内未被下载。
点击保存完成。返回仓库列表，根据需要对 Hosted 库进行策略配置。
清理任务
清理任务同样可以进行清理操作。在 System > Tasks 中建立清理 maven2 的任务：
- 类型选择（Select a Type）：选择
Maven - Delete SNAPSHOT。 - 任务名称（Task name）：输入
clean-maven2-hosted-local。 - 仓库（Repository）：选择
maven2-hosted-local。 - 最小快照数（Minimum snapshot count）：设置为保留 2 个副本。
- 快照保留期限（Snapshot retention days）：保留多少天内的包，设置为 0。
- 任务频率（Task frequency）：任务运行频率选择每天 01:45 运行。
创建一个清理 Blob 仓库的策略，该策略将清理标记为删除的原始存储数据：
- 类型选择（Select a Type）：选择
Admin - Compact blob store，删除未被使用的数据。 - 任务名称（Task name）：任务名称设为
clean-maven-blob。 - Blob 仓库（Repository）：选择仓库
maven-blob。 - 任务频率 Task frequency）：任务运行频率选择每天 02:45 运行。
类似地，可以创建 Docker Blob 仓库清理的任务。Docker 镜像不需要设置清除策略。
清理工具
使用第三方开源工具 nexus-cli 对私服中的镜像进行清理。项目地址：Github
下载
在 release 页面下载适用系统版本的可执行程序。添加权限后测试运行：
[root@k8s-101 ~]# mv nexus-cli-v1.1.0-linux-amd64 nexus-cli && chmod 744 nexus-cli
[root@k8s-101 ~]# ./nexus-cli -h
NAME:
Nexus CLI - Manage Docker Private Registry on Nexus
USAGE:
nexus-cli [global options] command [command options] [arguments...]
AUTHORS:
Mohamed Labouardy <mohamed@labouardy.com>
Alexandr Zaytsev <13rentgen@gmail.com>
COMMANDS:
configure Configure Nexus Credentials
image Manage Docker Images
help, h Shows a list of commands or help for one command
GLOBAL OPTIONS:
--help, -h show help登录
使用 nexus-cli 尝试登录私服：
[root@k8s-101 ~]# ./nexus-cli configure
Enter Nexus Host: http://192.168.1.253:8081
Enter Nexus Repository Name: docker-hosted
Enter Nexus Username: admin
Enter Nexus Password: 9pFmd,C@DP2hZJ*O工具会在当前目录下生成 .credentials 文件：
[root@k8s-101 ~]# cat .credentials
# Nexus Credentials
nexus_host = "http://192.168.1.253:8081"
nexus_username = "admin"
nexus_password = "9pFmd,C@DP2hZJ*O"
nexus_repository = "docker-hosted"查询
尝试列出所有镜像：
[root@k8s-101 ~]# ./nexus-cli image ls
base/nginx
base/openjdk
base/python
dev/config-admin-web
test/devops-health-check查询指定镜像的所有标签：
[root@k8s-101 ~]# ./nexus-cli image tags -name test/devops-health-check
e6befa3 created at 2022-08-16 13:55:39 +0000 GMT
def95a6 created at 2022-08-16 15:44:10 +0000 GMT
...
There are 28 images for test/devops-health-check删除
可以通过 -keep 参数来设置需要保留的版本个数。例如只保留 test/devops-health-check 镜像 5 个最新镜像:
[root@k8s-101 ~]# ./nexus-cli image delete -name test/devops-health-check -keep 5
test/devops-health-check:e6befa3 image will be deleted ...
test/devops-health-check:e6befa3 has been successful deleted
test/devops-health-check:def95a6 image will be deleted ...脚本
用脚本对所有镜像进行清理，只保留 5 个版本：
[root@k8s-101 ~]# vi clean.sh
for image in `/nexus-cli image ls|grep -vE "Total images"`
do
/nexus-cli image delete -n $image -k 5
done
[root@k8s-101 ~]# chmod 744 clean.sh发布
在 Gitlab 上新建 nexus-clean 项目，并将所需文件提交上去：
[root@k8s-101 ~]# mkdir nexus-clean
[root@k8s-101 ~]# mv nexus-cli .credentials clean.sh nexus-clean/在 Jenkins 流水线目录下新建 Dockerfile：
[root@k8s-101 ~]# mkdir -p /hxz393/local/jenkins/pipeline/devops-nexus-clean
[root@k8s-101 ~]# vi /hxz393/local/jenkins/pipeline/devops-nexus-clean/Dockerfile
FROM 192.168.1.253:10007/alpine:3.14
COPY . /
CMD [ "sh", "/clean.sh" ]新建 K8s 发布文件，定义为定时任务类型，每小时运行一次：
[root@k8s-101 ~]# vi /hxz393/local/jenkins/pipeline/devops-nexus-clean/Kubefile.yaml
apiVersion: batch/v1
kind: CronJob
metadata:
name: <APP_NAME>
namespace: <NAME_SPACE>
labels:
app: <APP_NAME>
annotations:
kubernetes.io/change-cause: "<GIT_TAG>"
spec:
schedule: "* */1 * * *"
jobTemplate:
spec:
template:
metadata:
labels:
app: <APP_NAME>
spec:
restartPolicy: OnFailure
containers:
- name: <APP_NAME>
image: <NEXUS_ADDRESS>/hxz393-<NAME_SPACE>/<APP_NAME>:<GIT_TAG>新建 Jenkins 发布文件：
[root@k8s-101 ~]# vi /hxz393/local/jenkins/pipeline/devops-nexus-clean/Jenkinsfile
pipeline {
agent {
kubernetes {
yamlFile 'local/jenkins/config/docker-pod.yaml'
}
}
environment{
// ###############################手动填写部分###############################
GITLAB_URL='git@gitlab-svc.test:devops/nexus-clean' // Git项目地址
NAME_SPACE="local" // 命名空间
// ###############################自动生成部分###############################
APP_NAME="${JOB_BASE_NAME}" // 项目名
}
stages {
stage('准备工作') {
steps {
script {
if (env.NAME_SPACE == "local") {
echo "将发布到本地环境"
env.GIT_BRANCH_NAME="master" // 分支名
env.NEXUS_ADDRESS='192.168.1.253:10007' // 私服地址
env.NEXUS_ADDRESS_PUSH='192.168.1.253:10008' // 私服上传地址
env.CREDENTIALS_ID='Nexus' // 私服账号
}
else {
echo "不支持的环境"
}
}
sh "cp -r test/jenkins/pipeline/${APP_NAME}/ ../pipeline"
git branch: "${GIT_BRANCH_NAME}", credentialsId: 'Gitlab', url: "${GITLAB_URL}"
sh 'cp -r ../pipeline/* .'
script {
env.GIT_TAG = sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim() // 提交哈希
env.GIT_COMMIT_MSG = sh (returnStdout: true, script: 'git log -1 --pretty=%B ${GIT_TAG}').trim() // 提交日志
}
sh '''
sed -i "s/<NEXUS_ADDRESS>/${NEXUS_ADDRESS}/g" Kubefile.yaml
sed -i "s/<APP_NAME>/${APP_NAME}/g" Kubefile.yaml
sed -i "s/<NAME_SPACE>/${NAME_SPACE}/g" Kubefile.yaml
sed -i "s/<GIT_TAG>/${GIT_TAG}/g" Kubefile.yaml
'''
echo "代码拉取完成!"
}
}
stage('构建镜像') {
steps {
container('docker') {
withCredentials([usernamePassword(credentialsId: "${CREDENTIALS_ID}", passwordVariable: 'Password', usernameVariable: 'Username')]) {
sh "docker login ${NEXUS_ADDRESS_PUSH} -u ${Username} -p ${Password}"
sh "docker build --progress=plain --no-cache -t ${NEXUS_ADDRESS_PUSH}/nanruan-${NAME_SPACE}/${APP_NAME}:${GIT_TAG} ."
sh "docker push ${NEXUS_ADDRESS_PUSH}/nanruan-${NAME_SPACE}/${APP_NAME}:${GIT_TAG}"
}
}
echo "镜像构建完成!"
}
}
stage('发布应用') {
steps {
container('kubectl') {
sh "kubectl --kubeconfig /hxz393/${NAME_SPACE}/k8s/config/admin.conf apply -f Kubefile.yaml"
}
sh "mkdir -p /hxz393/${NAME_SPACE}/${APP_NAME}/"
sh "cp Dockerfile Kubefile.yaml Jenkinsfile /hxz393/${NAME_SPACE}/${APP_NAME}/"
echo "应用发布完成!"
}
}
}
}最后是在 Jenkins 中新建同名任务 devops-nexus-clean ，发布后清理任务会保持运行。
测试
测试私服仓库上传下载功能。在 CI/CD 中应用私服请查看 Jenkins 相关主题。
测试 Docker 仓库
测试登录、拉取和上传。
测试登录
先使用 docker login 来测试是否可以登录。使用 IP 登录时候注意：10007 是 docker pull 端口，10008 是 docker push 端口，登陆时候需要分别认证：
[root@k8s-103 ~]# docker login -u 'admin' -p '9pFmd,C@DP2hZJ*O' docker.x2b.net
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
[root@k8s-103 ~]# docker login -u 'admin' -p '9pFmd,C@DP2hZJ*O' 192.168.1.253:10007
[root@k8s-103 ~]# docker login -u 'admin' -p '9pFmd,C@DP2hZJ*O' 192.168.1.253:10008登录成。测试完记得删除储存的 json 文件 /root/.docker/config.json。
测试上传
使用 docker tag 修改镜像标签并上传：
[root@k8s-103 ~]# docker tag mongo:5.0.8 docker.x2b.net/mongo:5.0.8
[root@k8s-103 ~]# docker push docker.x2b.net/mongo:5.0.8
[root@k8s-103 ~]# docker tag redis:5.0.14-alpine 192.168.1.253:10008/redis:5.0.14-alpine
[root@k8s-103 ~]# docker push 192.168.1.253:10008/redis:5.0.14-alpine测试下载
先在另外一台主机尝试拉取刚刚上传的镜像：
[root@k8s-248 ~]# docker pull docker.x2b.net/mongo:5.0.8
[root@k8s-248 ~]# docker pull 192.168.1.253:10007/redis:5.0.14-alpine再测试拉取本地和仓库中都没有的镜像:
[root@k8s-248 ~]# docker pull docker.x2b.net/rabbitmq
[root@k8s-248 ~]# docker pull 192.168.1.253:10007/httpd拉取速度甚至比本地直接拉取还要快。从外部仓库下载的镜像储存在私服 docker-proxy 库的 library 目录中。
测试认证
要测试在 K8s 集群中自动拉取镜像是否工作，先删除所有服务器上的 /root/.docker/config.json 文件：
[root@k8s-248 ~]# rm -rf /root/.docker/config.json用 kubectl run 命令建立一个临时 Pod，测试从私服拉取本地没有的镜像：
[root@k8s-101 ~]# kubectl -n local run testnexus --image=192.168.1.253:10007/ibmcom/busybox:1.30.1 --command -- ls -la
pod/testnexus created
[root@k8s-101 ~]# kubectl -n test describe po testnexus
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 34s default-scheduler Successfully assigned local/testnexus to k8s-103
Normal Pulling 34s kubelet Pulling image "192.168.1.253:10007/ibmcom/busybox:1.30.1"
Normal Pulled 8s kubelet Successfully pulled image "192.168.1.253:10007/ibmcom/busybox:1.30.1" in 25.424388112s
[root@k8s-101 ~]# kubectl -n local logs testnexus
total 16
drwxr-xr-x 1 root root 17 May 5 12:55 .
drwxr-xr-x 1 root root 17 May 5 12:55 ..
-rwxr-xr-x 1 root root 0 May 5 12:55 .dockerenv
drwxr-xr-x 2 root root 12288 Feb 14 2019 bin
[root@k8s-101 ~]# kubectl -n local delete po testnexus
pod "testnexus" deleted镜像已经成功拉取并运行。
测试 npm 仓库
可以运行一个 npm 容器来测试 npm 仓库功能：
[root@k8s-101 ~]# docker run --rm -it 192.168.1.253:10007/node:14.19.3 bashnpm 命令参考：CSDN 博客
查看状态
查看全局安装模块的目录：
root@4f5ec7bfe603:/# npm root -g
/usr/local/lib/node_modules查看当前登录 npm 的账户，用来 publish 发布包时使用：
root@4f5ec7bfe603:/# npm whoami
admin测试登录
测试登录私服：
root@4f5ec7bfe603:/# npm login --registry=http://192.168.1.253:8081/repository/npm-group-local/
Username: admin
Password: 9pFmd,C@DP2hZJ*O
Email: (this IS public) hxz393@x2b.net
Logged in as admin on http://192.168.1.253:8081/repository/npm-group-local/.
root@4f5ec7bfe603:/# npm login --registry=http://192.168.1.253:8081/repository/npm-hosted-local/添加用户。在发布前需要添加用户到 hosted 仓库：
root@4f5ec7bfe603:/# npm adduser --registry=http://192.168.1.253:8081/repository/npm-hosted-local/配置文件
获取全局配置内容：
root@4f5ec7bfe603:/# npm config list -l
; cli configs
long = true
metrics-registry = "https://registry.npmjs.org/"
scope = ""
user-agent = "npm/6.14.17 node/v14.19.3 linux x64"获取 npm 缓存目录和仓库地址。全局配置中的其他选项都可以通过 npm config get 来获取：
root@4f5ec7bfe603:/# npm config get cache
/root/.npm
root@4f5ec7bfe603:/# npm config get registry
https://registry.npmjs.org/npm 获取配置的优先级高低顺序：
-
命令行参数，如
--registry=。 -
环境变量。
-
用户配置文件。在使用命令进行属性配置时被写入的配置文件。路径如下：
root@4f5ec7bfe603:/# npm config get userconfig /root/.npmrc root@4f5ec7bfe603:/# cd && cat .npmrc //192.168.1.253:8081/repository/npm-group-local/:_authToken=NpmToken.7285beb7-2f92-3295-8ccf-8020132d6232 //192.168.1.253:8081/repository/npm-hosted-local/:_authToken=NpmToken.7285beb7-2f92-3295-8ccf-8020132d6232 registry=http://192.168.1.253:8081/repository/npm-group-local/ -
全局配置文件。需要手动建立，或在使用命令配置时加入
--global参数来写入。路径如下：root@4f5ec7bfe603:~# npm config get globalconfig /usr/local/etc/npmrc -
自带配置文件。一般是
/usr/local/lib/node_modules/npm/node_modules下面的npmrc文件。 -
默认配置参数。
配置仓库
配置镜像仓库地址为私服 group 库的地址：
root@4f5ec7bfe603:~# npm config set registry http://192.168.1.253:8081/repository/npm-group-local/发布时指定地址为 hosted 库的地址。只在本条命令有效：
root@4f5ec7bfe603:~# npm publish --registry=http://192.168.1.253:8081/repository/npm-hosted-local/测试打包
建立项目目录后，先生成 package.json 文件：
root@4f5ec7bfe603:~# mkdir xyz-hxz393 && cd xyz-hxz393
root@4f5ec7bfe603:~/xyz-hxz393# npm init -y
Wrote to /root/xyz-hxz393/package.json:
{
"name": "xyz-hxz393",
"version": "1.0.0",
"description": "",
"main": "index.js",
"scripts": {
"test": "echo \"Error: no test specified\" && exit 1"
},
"keywords": [],
"author": "",
"license": "ISC"
}生成 index.js 文件：
root@4f5ec7bfe603:~/xyz-hxz393# echo "module.exports = 907;">index.js试着发布包：
root@4f5ec7bfe603:~/xyz-hxz393# npm publish --registry=http://192.168.1.253:8081/repository/npm-hosted-local/
npm notice
npm notice package: xyz-hxz393@1.0.0
npm notice === Tarball Contents ===
npm notice 22B index.js
npm notice 224B package.json
npm notice === Tarball Details ===
npm notice name: xyz-hxz393
npm notice version: 1.0.0
npm notice package size: 302 B
npm notice unpacked size: 246 B
npm notice shasum: 609171152a95a18623d918869049f5bbcb57aad4
npm notice integrity: sha512-x1KcX1CvXs9cn[...]fmr7Kx1Lr2d9Q==
npm notice total files: 2
npm notice
+ xyz-hxz393@1.0.0登录 Nexus 仓库网页端，浏览 npm-hosted-local 仓库，此处已经有了上传的包 xyz-hxz393/-/xyz-hxz393-1.0.0.tgz。
测试下载
测试从私服拉取上传的包，需要重启新的容器：
root@4f5ec7bfe603:~/xyz-hxz393# exit
[root@k8s-101 ~]# docker run --rm -it 192.168.1.253:10007/node:14.19.3 bash
root@26a681c3ecc3:/# npm config get registry
https://registry.npmjs.org/
root@26a681c3ecc3:/# npm config set registry http://192.168.1.253:8081/repository/npm-group-local/
root@26a681c3ecc3:/# cd && npm adduser --registry=http://192.168.1.253:8081/repository/npm-group-local/
Username: admin
Password:
Email: (this IS public) hxz393@x2b.net
Logged in as admin on http://192.168.1.253:8081/repository/npm-group-local/.下载私有包：
root@26a681c3ecc3:~# npm -loglevel info install xyz-hxz393
+ xyz-hxz393@1.0.0
added 1 package in 1.83s
npm timing npm Completed in 2017ms
npm info ok 下载公共包：
root@26a681c3ecc3:~# npm -d install bootstrap
+ bootstrap@5.2.3
added 1 package from 2 contributors in 3.444s
1 package is looking for funding
run `npm fund` for details
npm timing npm Completed in 3650ms
npm info ok 查询包下载目录：
root@26a681c3ecc3:~# find / -name bootstrap
/root/node_modules/bootstrap至此功能测试完毕。
管理
Nexus 在 K8s 集群中的管理。
小版本升级
如果没有大版本跳跃，可以直接升级。例如，从版本 3.38.1 升级到最新的 3.54.1 版本，先删除旧版本，修改镜像版本再重新部署：
[root@k8s-101 ~]# kubectl delete -f /hxz393/${APPENV}/${APPNAME}/apply/
statefulset.apps "nexus-sts" deleted
service "nexus-svc" deleted
service "nexus-svc-docker-pull" deleted
service "nexus-svc-docker-push" deleted
[root@k8s-101 ~]# vi /hxz393/${APPENV}/${APPNAME}/apply/nexus-sts.yaml
...
containers:
- name: nexus
image: sonatype/nexus3:3.54.1
imagePullPolicy: IfNotPresent
...
[root@k8s-101 ~]# kubectl apply -f /hxz393/${APPENV}/${APPNAME}/apply/大版本升级
按照官方指南，2.x 版本不能直接升级到 3.x 版本，需要先升级到 2.x 的最后一个版本（下载地址），然后再升级到 3.x 的最新版本：官网教程
数据迁移
升级迁移可能需要很长时间，可以先运行一个 3.x 版本的 Nexus 副本，新建 proxy 库指向老仓库地址。下面是一个示例：
- 新建 maven2 proxy 仓库。
- Name：输入
maven2-proxy-old-maven-public。 - Remote storage：填旧仓库组地址
http://192.168.1.55:8081/repository/maven-public/。 - Blob store：选择
maven-blob。 - HTTP Authentication：输入旧仓库用户名和密码。
- 创建完毕后，修改现在的 group 库
maven2-group-local配置，将库maven2-proxy-old-maven-public加入到激活列表。
这样配置后，通过新库 maven2-group-local 拉取到旧库的组件，会存入到新库 maven-blob 中。
升级步骤
升级流程简单描述如下：
- 先部署一个全新的 3.x 版本 Nexus 容器。
- 在 2.x 版本 Nexus 主页，点击 System > Capabilities > Create capability 来新建 Upgrade:Agent。配置 Token 为
123456。 - 在 3.x 版本 Nexus 主页，点击 System > Capabilities > Create capability 来新建 Upgrade。
- 在 3.x 版本 Nexus 主页 System 下面多出一个 Upgrade 菜单，点击运行升级向导。在 URL 中输入旧仓库地址，例如：
http://192.168.2.110:8081/nexus。在 Access Token 中输入123456。继续点击下一步，选择空白的目标仓库。再下一步，选择旧 Nexus 的源仓库。最后点击开始等待同步完成。