浪潮服务器IPMI与RAID及Hot Spare配置

By PC_Chen

Published 2016-04-22

公司新上架了一批浪潮的服务器，型号为SA5212M4，使用了LSI 的SAS3008 磁盘控制器，安装了CentOS 6.7，在进行一些基础配置如RAID hot spare的时候，走过不少弯路(浪潮的技术支持只能呵呵)。

IPMI是什么？浏览一下介绍文档之后大概明白它解决的问题就是：怎么为远程机器配置BIOS,远程机器网络配置出错导致断网咋办…之类的问题。一句话：IPMI是一个独立于OS甚至BIOS之外的系统，它能管理电源、显示等底层甚至硬件层次的资源，但它也能与OS通信，比如你可以通过ipmitools来设置ipmi的一些参数。

ipmitool是一个允许你通过shell来使用ipmi的工具，其它安装过程为123yum install OpenIPMI OpenIPMI-toolschkconfig ipmi onservice ipmi start

确认服务启动之后，你可以通过它来打印ipmi信息，管理ipmi的用户和密码等1234567891011121314151617181920212223242526272829303132333435$ sudo ipmitool lan printSet in Progress : Set CompleteAuth Type Support : MD2 MD5 PASSWORD Auth Type Enable : Callback : MD2 MD5 PASSWORD : User : MD2 MD5 PASSWORD : Operator : MD2 MD5 PASSWORD : Admin : MD2 MD5 PASSWORD : OEM : IP Address Source : Static AddressIP Address : 172.30.0.xxSubnet Mask : 255.255.255.0MAC Address : 6c:92:bf:xx:xx:xxSNMP Community String : InspurIP Header : TTL=0x40 Flags=0x40 Precedence=0x00 TOS=0x10BMC ARP Control : ARP Responses Enabled, Gratuitous ARP DisabledGratituous ARP Intrvl : 0.0 secondsDefault Gateway IP : 172.30.0.xDefault Gateway MAC : 00:00:00:00:00:00Backup Gateway IP : 0.0.0.0Backup Gateway MAC : 00:00:00:00:00:00802.1q VLAN ID : Disabled802.1q VLAN Priority : 0RMCP+ Cipher Suites : 1,2,3,6,7,8,11,12Cipher Suite Priv Max : aaaaXXaaaXXaaXX : X=Cipher Suite Unused : c=CALLBACK : u=USER : o=OPERATOR : a=ADMIN : O=OEM# ipmitool user list 1ID Name Callin Link Auth IPMI Msg Channel Priv Limit1 root false false true ADMINISTRATOR2 admin true false false NO ACCESS

ipmi可以实现很多功能，但此次用到最多的功能是

因为在一段时间内未能得知机房建设组设置的ipmi密码，因此使用ipmi重置了。12ipmitool user set password 1 mypaasswdipmitool user test 1 16 mypasswd

第一个命令是重设密码，并不需要输入当前密码之类的，这也是合理的，ipmi使用频率不会太高，遗忘可能很大，而且机器是为使用者服务的，OS的特权用户应有权限重设密码。

第二个命令是确认密码修改成功的，如果输出为Success，说明修改成功。

如上可见，ipmi接入在一个172.30.0.0/24的私网地址，为了管理方便，其与服务器公网口接在同一交换机，因此服务器的OS可以直接接入本机和集群的IPMI网络。

如果集群中任意一台机器支持图形界面，则可以用浏览器直接输入IPMI的IP打开WEB管理页，在这里你可以看到一些机器设备的状态和健康情况等等。但更有用的功能是“控制台重定向”： 将显示通过VNC重定向到远程主机。这样你就如控制虚拟机那样，在重启过程中能够看到自检和进入BIOS进行设置，同时也可以通过VNC控件挂载本地ISO镜像，从而实现远程装机。WEB页的登录使用和ipmitool中设置的用户名和密码，浪潮的服务器在登录后主页右边有console redirection按钮，点击即下载一个jviewer.jnlp的java WEB应用,使用javaws命令可以打开。如果在linux（MAC也适用）下，请将你要访问的主机加入java安全的例外列表，否则会被block.例外文件位置为~/.java/deployment/security/exception.sites1234http://172.30.0.xx:80http://172.30.0.xx:80http://172.30.0.xx:80……

如果是windows/Mac系统，则有相应的图形java控制台添加例外。有可能会遇到以下错误。12$ javaws Downloads/jviewer.jnlp (:24358): Gtk-CRITICAL **: IA__gtk_message_dialog_set_markup: assertion `GTK_IS_MESSAGE_DIALOG (message_d

添加-verbose参数诡异地可解，原因不明1javaws Downloads/jviewer.jnlp -verbose

在打开的控制台菜单中media => virtual media wizzard可挂载本地ISO文件到远程机器的虚拟光驱，用于装机。

网络上能搜到的关于浪潮机器的Raid全与本型号服务器硬件不符，加之自己也无经验，在与公司负责机房的人员及浪潮技术支持多次低效的沟通之后（期间发送了大量牛头不对马嘴的资料），才得知此是所谓的SAS卡（浪潮最后发过来的SAS资料还是错的，无力吐槽）。使用LSI SAS3008控制卡对应的工具下载地址http://support.lenovo.com/us/en/downloads/ds102444请使用./sas3ircu 0 display查看机器具体的磁盘情况例如将enclosure2 sot 0-9的10块盘做成Raid101./sas3ircu 0 create raid10 max 2:0 2:1 2:2 2:3 2:4 2:5 2:6 2:7 2:8 2:9

还可以为raid添加热备

例如将2:10的盘作为控制器0的热备1./sas3ircu 0 hotspare 2:10

大分区请使用gpt格式分区表，工具可使用parted进行parted引导界面1parted /dev/sdb

parted 常用命令1234mklabel gpt //建立gpt分区表，会覆盖原分区信息unit TB //指定接下用使用的容量单位mkpart primary 0 10 //建立一个从0位置开始，大小10TB的分区mkpart primary 10 100% //将剩余磁盘分为一个区

如果分区大小超过16T, 可使用xfs文件系统，否则推荐使用常见的ext41mkfs.ext4 /dev/sdb1