Grid Control 에서 새 target node를 추가한 이후에 기존OMS와 새 Agent 간의 HeartBeat fail 해결방

Question

Grid Control 에서 새 target node를 추가한 이후에 기존OMS와 새 Agent 간의 HeartBeat fail 해결방법
=========================================================================
다음은 Grid Control 을 설치한 이후에 node를 관리해 오다가 새로운 관리할 Target node를
추가한 이후에 Grid Control 이 있는 node의 OMS와 새로 추가한 node의 Agent가 HeartBeat 통신
실패 시에 해결책을 소개하고 있습니다.
Problem Description
Grid Control 에서 새로운 node를 추가한 다음에 그 새로운 node 에서
emctl status agent 명령 수행 시 다음과 같은 에러가 발생합니다.
Environment :
mesdev01 : 새로 추가한 Agent가 있는 node명
mesdev02 : 'Central Grid Agent' 존재 & 'Repository database가 존재하는 node'
새로 추가한 node에서 아래와 같이 emctl status agent 명령을 수행합니다.
그런데, OMS에 대한 HeartBeat fail 이 발생했음을 알 수 있습니다.
[mesdev01:/oracle/app/oracle/product/agent10g/bin] emctl status agent
Oracle Enterprise Manager 10g Release 3 Grid Control 10.2.0.3.0.
Copyright (c) 1996, 2007 Oracle Corporation. All rights reserved.
Agent Version : 10.2.0.3.0
OMS Version : 10.2.0.3.0
Proto Version : 10.2.0.2.0
Agent Home : /oracle/app/oracle/product/agent10g
Agent binaries : /oracle/app/oracle/product/agent10g
Agent Process ID : 10526
Parent Process ID : 10511
Agent URL : http://mesdev01:3872/emd/main/
Repository URL : http://mesdev02:4889/em/upload/
Started at : 2007-12-28 10:36:59
Started by user : oracle
Last Reload : 2007-12-28 10:36:59
Last successful upload : (none)
Last attempted upload : (none)
Total Megabytes of XML files uploaded so far : 0.00
Number of XML files pending upload : 287
Size of XML files pending upload(MB) : 26.40
Available disk space on upload filesystem : 40.44%
Last attempted heartbeat to OMS : 2007-12-28 14:13:36
Last successful heartbeat to OMS : unknown <===
여기서 주목할 만한 에러는 Last successful heartbeat to OMS 체크 시 status가
unknown 으로 보인다는 것입니다.
에러 증상
emctl status agent 수행 시 Last successful heartbeat to OMS : unknown
또는 agent 에서 OMS의 Status를 알 수 없다는 아래의 에러가 보이는 경우임.
Note: "The OMS status is Unknown"
Explanation
이러한 에러는 주로 agent가 node에 새로(newly) install 된 경우 발생합니다.
원래 communication 이 정상적으로 보인다면 다음과 같이 수행 결과가 나와야 합니다.
다음은 Repository database가 존재하는 mesdev02 node에서 emctl status agent를 수행한 결과
성공적으로 보이는 결과입니다.
mesdev02:/u01/app/oracle/OracleHomes/agent10g/bin$ emctl status agent
Oracle Enterprise Manager 10g Release 3 Grid Control 10.2.0.3.0.
Copyright (c) 1996, 2007 Oracle Corporation. All rights reserved.
Agent Version : 10.2.0.3.0
OMS Version : 10.2.0.3.0
Proto Version : 10.2.0.2.0
Agent Home : /u01/app/oracle/OracleHomes/agent10g
Agent binaries : /u01/app/oracle/OracleHomes/agent10g
Agent Process ID : 29307
Parent Process ID : 29300
Agent URL : https://mesdev02:3872/emd/main/
Repository URL : https://mesdev02:1159/em/upload
Started at : 2007-12-27 11:29:22
Started by user : oracle
Last Reload : 2007-12-27 17:57:18
Last successful upload : 2007-12-28 15:02:09
Total Megabytes of XML files uploaded so far : 48.78
Number of XML files pending upload : 0
Size of XML files pending upload(MB) : 0.00
Available disk space on upload filesystem : 38.29%
Last successful heartbeat to OMS : 2007-12-28 15:02:59 <====
Agent is Running and Ready
원인
이 에러가 발생하는 원인은 새로 추가한 database의 Agent process가 GRID Control 이
install된 main server의 OMS와 연결되지 않기 때문인데, 이렇게 새로운 node를 추가한 이후에
수행해줘야 할 절차가 있습니다.
OMS_HOME/sysman/log 의 secure.log 를 확인해 보면 OMS is "secure locked" 라는 에러가 보입니다.
The OMS is "secure locked", then the agent also needs to be secure.
[ 사전 check 사항 ]
1. 두 node 모두 DNS server에 등록되어 있는지 확인한다.
2. 두 node 모두 쌍방 간에 /etc/hosts file에 서로의 ip address와 hostname을 넣어준다.
위 두가지 check 사항이 충족된 경우에도 발생한다면 새로 추가한 node 쪽에서 자신의 정보를
OMS(즉, Repository node) 에게 정보를 upload하지 않았기 때문입니다.
Upload를 하는 방법은 간단하게 아래와 같은 emctl upload agent 라는 명령으로 가능합니다.
emctl upload agent
Upload를 하게 될 때 그 정보는 XML 형태로 중앙 Repository에 저장됩니다.
Solution Description
아래 절차 중에 1번만 Grid Control이 설치된 OMS server에서 수행을 하고,
2번~7번까지는 새로 추가한 Agent node에서 수행합니다.
1. On oms server: (Grid Control 이 설치된 서버에서 수행)
<OMS_HOME>/bin/emctl status oms -secure
OMS node인 mesdev02 node에서 우선 emctl status oms -secure 를 수행합니다.
mesdev02:/u01/app/oracle$$OMS_HOME/bin/emctl status oms -secure
Oracle Enterprise Manager 10g Release 3 Grid Control
Copyright (c) 1996, 2007 Oracle Corporation. All rights reserved.
Checking the security status of the OMS at location set in /u01/app/oracle/OracleHomes/oms10g/sysman/config/emoms.properties... Done.
OMS is secure on HTTPS Port 1159
2. Stop Agent: Agent를 설치한 node에서 수행합니다.
<AGENT_HOME>/bin/emctl stop agent
[mesdev01:/oracle/app/oracle/product/agent10g/bin]./emctl stop agent
Oracle Enterprise Manager 10g Release 3 Grid Control 10.2.0.3.0.
Copyright (c) 1996, 2007 Oracle Corporation. All rights reserved.
Stopping agent ... stopped.
3. Verify no residue emagent processes running:
이와 같은 명령으로 남아 있는 emagent process가 있는지 확인합니다.
ps -ef|grep emagent
[mesdev01:/oracle/app/oracle/product/agent10g/bin]ps -ef|grep emagent
oracle 4353 3125 0 16:19:34 pts/tb 0:00 grep emagent
4. If running secure please resecure agent on :
<AGENT_HOME>/bin/emctl secure agent
emctl secure agent 를 수행하는 목적은 모든 agent에 대해서 secure communication 을
하기 위해 필요합니다.
[ 주의사항 ]
emctl secure agent 명령은 Grid Control installation 과정에서
--> 'Specify Security Options' 단계에서
--> Management Service Security 항목에서
--> OMS와 함께 Secure Communication을 하고자 하는 agent에 password 설정을 하는데,
--> Require Secure Communication for all agents 를 check 표시하였다면
install 이후에 아래와 같이 emctl secure agent 명령을 수행하여야 합니다.
(기본적으로 Require Secure Communication for all agents는 enable되어야 함).
[mesdev01:/oracle/app/oracle/product/agent10g/bin]./emctl secure agent
Oracle Enterprise Manager 10g Release 3 Grid Control 10.2.0.3.0.
Copyright (c) 1996, 2007 Oracle Corporation. All rights reserved.
Enter Agent Registration password :
Agent is already stopped... Done.
Securing agent... Started.
Requesting an HTTPS Upload URL from the OMS... Done.
Requesting an Oracle Wallet and Agent Key from the OMS... Done.
Check if HTTPS Upload URL is accessible from the agent... Done.
Configuring Agent for HTTPS in CENTRAL_AGENT mode... Done.
EMD_URL set in /oracle/app/oracle/product/agent10g/sysman/config/emd.properties
Securing agent... Successful.
5. 4번 단계가 정상적으로 완료되면 이제 Agent를 기동합니다.
Start Agent
<AGENT_HOME>/bin/emctl start agent
[mesdev01:/oracle/app/oracle/product/agent10g/bin]./emctl start agent
Oracle Enterprise Manager 10g Release 3 Grid Control 10.2.0.3.0.
Copyright (c) 1996, 2007 Oracle Corporation. All rights reserved.
Starting agent ................................. started but not ready.
6. Then verify upload works
<AGENT_HOME>/bin/emctl upload agent
[mesdev01:/oracle/app/oracle/product/agent10g/bin]./emctl upload agent
Oracle Enterprise Manager 10g Release 3 Grid Control 10.2.0.3.0.
Copyright (c) 1996, 2007 Oracle Corporation. All rights reserved.
EMD upload error: Upload timedout before completion
==> timedout 메시지는 warning으로 보이며, 운영에는 지장이 없습니다.
7. 다시 확인 차 emctl status agent 명령을 수행해 봅니다.
Then run status of agent
<AGENT_HOME>/bin/emctl status agent
[mesdev01:/oracle/app/oracle/product/agent10g/bin]./emctl status agent
Oracle Enterprise Manager 10g Release 3 Grid Control 10.2.0.3.0.
Copyright (c) 1996, 2007 Oracle Corporation. All rights reserved.
Agent Version : 10.2.0.3.0
OMS Version : 10.2.0.3.0
Proto Version : 10.2.0.2.0
Agent Home : /oracle/app/oracle/product/agent10g
Agent binaries : /oracle/app/oracle/product/agent10g
Agent Process ID : 4618
Parent Process ID : 4609
Agent URL : https://mesdev01:3872/emd/main/
Repository URL : https://mesdev02:1159/em/upload
Started at : 2008-01-02 16:21:03
Started by user : oracle
Last Reload : 2008-01-02 16:21:03
Last successful upload : 2008-01-02 16:25:37
Total Megabytes of XML files uploaded so far : 54.28
Number of XML files pending upload : 40
Size of XML files pending upload(MB) : 0.97
Available disk space on upload filesystem : 37.22%
Collection Status : Disabled by Upload Manager
Last successful heartbeat to OMS : 2008-01-02 16:24:49 <== success!
Agent is Running and Ready
[mesdev01:/oracle/app/oracle/product/agent10g/bin]
8. 만약 Last successful heartbeat to OMS 에 위와 같은 success로 보이지 않으면
step 1부터 7까지 수행된 모든 output 을 수집하여 문의를 합니다.
9. 그리고, debugging을 위해 다음의 log 화일들을 보관하시기 바랍니다.
<OMS_HOME>/sysman/log
<OMS_HOME>/sysman/log 의 secure.log가 특히 중요합니다.
<AGENT_HOME>/sysman/log
References
Note 458033.1
Title:Problem: Agent Upload Fails: OMS Is Locked and Agent not Secured

Answer 1