Redhat9无盘系统搭建
2025-03-07
4分钟阅读时长
一、安装和配置RedHat9.4
1.安装过程略
2.配置本地iso源
查看U盘（iso刻录到U盘中了）的设备文件路径
[root@pxeserver ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 1 118.1G 0 disk
├─sda1 8:1 1 10.3G 0 part
└─sda2 8:2 1 6.9M 0 part
nvme0n1 259:0 0 953.9G 0 disk
├─nvme0n1p1 259:1 0 1G 0 part
├─nvme0n1p2 259:2 0 1G 0 part
├─nvme0n1p3 259:3 0 1G 0 part
├─nvme0n1p4 259:4 0 1G 0 part /boot/efi
├─nvme0n1p5 259:5 0 1G 0 part /boot
└─nvme0n1p6 259:6 0 948.9G 0 part /
创建挂载点
mkdir /mnt/usb
mount /dev/sda /mnt/usb
如果U盘拔掉，需要重新挂载，我们将其内容同步到一个新的目录
mkdir /iso
rsync -aHAX --progress /mnt/usb/ /iso/
同步完成后，我们创建一个repo文件
tee /etc/yum.repos.d/local-iso.repo > /dev/null <<EOF
[local-iso]
name=RH9 Local Repo
baseurl=file:///iso/BaseOS/
enabled=1
gpgcheck=0
[local-appstream]
name=RH9 AppStream
baseurl=file:///iso/AppStream/
enabled=1
gpgcheck=0
EOF
重建索引
yum makecache
3.禁用selinux和防火墙
systemctl disable firewalld --now
sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
grubby --update-kernel ALL --args selinux=0
reboot
禁用selinux是为了设置chroot无盘系统后的密码，禁用防火墙省去开端口的过程
二、构建无盘系统
1.设置环境变量
echo 'export NFSROOT=/pxe/diskless/rh9' >> ~/.bashrc
source ~/.bashrc
mkdir -p ${NFSROOT}
2.安装基础环境
dnf group -y install "Server" --installroot=${NFSROOT}
3.配置无盘系统的iso镜像源
rsync -aHAX --progress /iso/ ${NFSROOT}/iso
tee ${NFSROOT}/etc/yum.repos.d/local-iso.repo > /dev/null <<EOF
[local-iso]
name=RH9 Local Repo
baseurl=file:///iso/BaseOS/
enabled=1
gpgcheck=0
[local-appstream]
name=RH9 AppStream
baseurl=file:///iso/AppStream/
enabled=1
gpgcheck=0
EOF
4.安装其他依赖
dnf install -y perl-File-Compare autoconf perl perl-File-Copy tk gcc gcc-c++ gcc-gfortran nfs-utils git kernel-devel git make cmake python3-pip python3-devel patch tmux glibc-langpack-en ipmitool
dnf install -y --installroot=${NFSROOT} --releasever=/ perl-File-Compare autoconf perl perl-File-Copy tk gcc gcc-c++ gcc-gfortran nfs-utils git kernel-devel git make cmake python3-pip python3-devel patch tmux glibc-langpack-en ipmitool
5.配置自动挂载
编辑 $NFSROOT/etc/fstab
none /tmp tmpfs defaults 0 0
tmpfs /dev/shm tmpfs defaults 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
6.配置hostname
编辑 **$NFSROOT/etc/hosts **和 /etc/hosts
10.0.0.1 gpu01
10.0.0.2 gpu02
10.0.0.3 gpu03
10.0.0.4 gpu04
10.0.0.5 gpu05
10.0.0.6 gpu06
10.0.0.7 gpu07
10.0.0.8 gpu08
10.0.0.9 gpu09
10.0.0.10 gpu10
10.0.0.11 gpu11
10.0.0.12 gpu12
10.0.0.13 gpu13
10.0.0.14 gpu14
10.0.0.15 gpu15
10.0.0.16 gpu16
10.0.0.17 gpu17
10.0.0.18 gpu18
10.0.0.19 gpu19
10.0.0.20 gpu20
10.0.0.21 gpu21
10.0.0.22 gpu22
10.0.0.23 gpu23
10.0.0.24 gpu24
10.0.0.25 gpu25
10.0.0.26 gpu26
10.0.0.27 gpu27
10.0.0.28 gpu28
10.0.0.29 gpu29
10.0.0.30 gpu30
10.0.0.31 gpu31
10.0.0.32 gpu32
10.0.0.100 master
hostname ip 对应按照自己实际情况编辑
7.配置whereami
编辑 $NFSROOT/bin/whereami
#!/bin/bash
# finds node's hostname based on matching IP in /etc/hosts
PATH=/sbin:/bin:/usr/sbin:/usr/bin
IP=`ifconfig | egrep 'inet.*broadcast' \
| sed -e 's/.*inet \(.*\).*netmask.*/\1/'`
grep $IP /etc/hosts | /usr/bin/awk '{print $2}'
执行命令：
chmod +x ${NFSROOT}/bin/whereami
8.配置rc.local
和上面的whereami结合，根据分配的ip 自动变更hostname
覆写 $NFSROOT/etc/rc.local
#!/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
# set hostname
hostname `/bin/whereami`
touch /var/lock/subsys/local
执行命令：
chmod +x ${NFSROOT}/etc/rc.local
9.配置root用户
依次执行命令
chroot ${NFSROOT}
passwd root
exit
其中第二条命令输入密码后如果报错认证失败，那是因为2.1 的操作未做/未生效
10.创建基于ram的引导内核
依次执行命令
echo 'add_dracutmodules+="nfs"' >> $NFSROOT/etc/dracut.conf
chroot $NFSROOT
dracut --no-hostonly --nolvmconf -m "nfs network base" --xz /boot/initramfs.pxe-$(uname -r) $(uname -r)
chmod ugo+r /boot/initramfs.pxe-$(uname -r)
exit
注意dracut生产pxe引导文件需要kernel一致，否则无法成功引导
11.配置ssh免密
修改sshd_config 中PermitRootLogin 值为yes
三、配置http服务
wget https://slink.ltd/https://github.com/codeskyblue/gohttpserver/releases/download/1.1.4/gohttpserver_1.1.4_linux_amd64.tar.gz
tar xzf gohttpserver_1.1.4_linux_amd64.tar.gz -C /usr/bin/
配饰systemd服务
cat << EOF >/etc/systemd/system/gohttpserver.service
[Unit]
Description=Systemd gohttpserver
After=network.target
[Service]
User=root
# Execute `systemctl daemon-reload` after ExecStart= is changed.
ExecStart=/usr/bin/gohttpserver -r /pxe/http --addr :80 --auth-type http
[Install]
WantedBy=multi-user.target
EOF
启动gohttp服务器
mkdir /pxe/http
systemctl daemon-reload
systemctl enable gohttpserver --now
将上面的无盘系统的boot目录软链接到http目录下,方便后续配置
mkdir /pxe/http/diskless
ln -s /pxe/diskless/rh9/boot /pxe/http/diskless/rh9
四、配置dnsmasq
dnsmasq集成了dhcp和tftp的功能 安装dnsmasq
dnf install -y dnsmasq
创建tftp工作目录
mkdir -p /pxe/tftp
将固件复制到tftp 目录下
cp bin-x86_64-efi/ipxe.efi /pxe/tftp
编辑/etc/dnsmasq.conf
# 关闭DNS解析
port=0
#Setup the server to be your authoritative DHCP server
dhcp-authoritative
#Set the DHCP server to hand addresses sequentially
dhcp-sequential-ip
# 设置DHCP分发IP端范围、地址掩码、IP地址有效时间
dhcp-range=10.0.0.1,10.0.0.32,255.255.255.0,12h
dhcp-option=option:router,10.0.0.254
dhcp-option=option:dns-server,223.5.5.5
# 设置引导程序相对tftp根目录的路径
dhcp-match=set:bios,option:client-arch,0
dhcp-match=set:ipxe,175
dhcp-boot=tag:!ipxe,tag:bios,undionly.kpxe
dhcp-boot=tag:!ipxe,tag:!bios,ipxe.efi #如果引导失败用这个 snponly.efi
dhcp-boot=tag:ipxe,boot.ipxe
# 设置tftp服务
enable-tftp
tftp-lowercase
dhcp-no-override
tftp-root=/pxe/tftp
#log
log-queries
log-dhcp
log-facility=/var/log/dnsmasq.log
启动dnsmasq服务
systemctl enable dnsmasq --now
systemctl status dnsmasq
五、配置nfs服务器
1.安装
dnf -y install nfs-utils
2.创建共享目录
mkdir -p /pxe/diskless/rh9
chmod 755 /pxe
chmod 755 /pxe/diskless
chmod 1777 /pxe/diskless/rh9
3.配置/etc/exports
echo '/pxe/diskless/rh9 *(rw,sync,no_root_squash)' >> /etc/exports
参数含义：rw表⽰设置⽬录可读写sync表⽰数据会同步写⼊到内存和硬盘中，相反rsync表⽰数 据会先暂存于内存中，⽽⾮直接写⼊到硬盘中。no_root_squashNFS客⼾端连接服务端时如果使⽤ 的是root的话，那么对服务端分享的⽬录来说，也拥有root权限no_all_squash不论NFS客⼾端连接 服务端时使⽤什么⽤⼾，对服务端分享的⽬录来说都不会拥有匿名⽤⼾权限
4.启动服务
systemctl enable nfs-server --now
验证
[root@pxeserver ~]# showmount -e localhost
Export list for localhost:
/pxe/diskless/rh9 *
六、配置iPXE
1.编译开启NFS功能的ipxe固件
官方提供的ipxe固件默认没有开启NFS功能，所以我们需要编译一个新的固件
git clone https://github.com/ipxe/ipxe.git
cd ipxe/src
编辑 config目录下的general.h文件
将
#undef DOWNLOAD_PROTO_NFS /* Network File System Protocol */
修改成
#define DOWNLOAD_PROTO_NFS /* Network File System Protocol */
在src目录下执行
make bin-x86_64-efi/ipxe.efi -j
将固件复制到tftp⽬录下
cp bin-x86_64-efi/ipxe.efi /pxe/tftp
2.配置ipxe menu 脚本
编辑/pxe/tftp/boot.ipxe
#!ipxe
set boot-url http://${next-server}
# Setup some basic convenience variables
set menu-timeout 3000
# Set default boot option to diskless CentOS 7
set menu-default rh9-diskless
######## MAIN MENU ###################
:start
menu Welcome to iPXE's Boot Menu
item
item --gap -- ------------------------- Utilities ------------------------------
item rh9-installer Install rh9
item rh9-diskless Diskless rh9
item --gap -- ------------------------------ Advanced ---------------------------------
item --key r reboot [R] Reboot the Computer
item --key x exit [X] Exit (boot local disk)
choose --default ${menu-default} --timeout ${menu-timeout} target && goto ${target}
########## UTILITY ITEMS ####################
:failed
echo Booting failed, dropping to shell
goto start
:reboot
reboot
:exit
exit
:rh9-installer
initrd ${boot-url}/iso/rh9/images/pxeboot/initrd.img
kernel ${boot-url}/iso/rh9/images/pxeboot/vmlinuz
imgargs vmlinuz initrd=initrd.img inst.ks=${boot-url}/ks/ks-rh9.cfg inst.repo=${boot-url}/iso/rh9
boot || goto failed
goto start
:rh9-diskless
set args1 vga=791 boot=casper toram
set args2 netboot=nfs nfsroot=${next-server}:/pxe/diskless/rh9 root=/dev/nfs rw selinux=0 net.ifnames=0 biosdevname=0
initrd ${boot-url}/iso/rh9/images/pxeboot/initrd.img
kernel ${boot-url}/iso/rh9/images/pxeboot/vmlinuz
imgargs vmlinuz initrd=initrd.img ${args1} ${args2}
imgstat
boot || read void
物理机还需要拷贝下
cp boot.ipxe autoexec.ipxe
上面的rh9-installer 只需要同步下iso文件
rsync -aHAX --progress /iso/ /pxe/http/iso/rh9
七、无盘系统软件安装
-
IB驱动
下载合适版本的OFED驱动，解压，然后执行下面的命令
./mlnxofedinstall --force --with-nfsrdma --without-fw-update安装好后禁用openibd，否则会出现无盘系统initrmafs 链接nfs前网卡宕掉的情况
systemctl disable openibd