451 4.4.0 DNS query failed - NonExistentDomain

Question

I am in the process of migrating from Exch 2007 to 2013 for a small company. It is a very simple setup of just a single domain which has
1 server, 1 organization and 1 database. Here is what I have done so far: 
1. Installed a physical server EX13 for Exchange 2013 with SP1. All updates have been applied. 
2. Added a new Receive Connector of EX13 in addition to existing EX07. 
3. Changed SMTP port forwarding on the firewall from EX07 to EX13. 
4. Migrated a few mailboxes to the EX13. 
Accounts on both servers have no issues with exchanging email both ways on the Internet. However, when accounts on the old server email to
migrated users, the new server does not always receive the messages promptly. There is a delay as much as 30 minutes that happens sporadically.
I checked the message header on the delayed messages and found that they had been stuck in EX07 for a long time before forwarding to EX13.
From Ex07 queue viewer, I found the following error: 
451 4.4.0 DNS query failed. The error was: SMTPSEND.DNS.NonExistentDomain; nonexistent domain 
Net Hop Domain: hub version 15 
Delivery type: SMTP Relay in Active Directory 
Message Source Name: FromLocal 
Last Error: 451 4.4.0 DNS query failed. The error was: SMTPSEND.dns.NonExistentDomain;nonexistentdomain 
The status showed "retry" and eventually the message would be delivered. Once it went through, I sent another one again from an EX07
account to EX13 account, the message was received instantly. 
So far I have tried the following: 
1. Added a host entry to point EX13.my_external_domain.com to the internal address of EX13 
2. Added an 'A' record on the internal DNS server with the same entry. 
3. Verified that EX13.my_external_domain.com was accessible from EX07 using this FQDN. 
4. Removed EX07 and leaving only EX13 on the Receive Connector list 
5. Removed EX13 and leaving only EX07 on the Receive Connector list 
6. Put both connectors back 
There is no change of status. Every morning our users are saying that they could not email users on the new server. Then after 30 minutes,
the problem disappeared but it will come back later in the day. On the other hand, users on the new server do not notice any delay when sending messages to the those on the new box. At this point, I don't feel comfortable migrating more users. Can someone
please shed some lights?

Answer 1

As suggested by Cara, I queried the message logs of both servers to track the delayed message.  This time, it took an hour for a message to be delivered.
========================================
Message Log on Sending Server EXCH07
========================================
[PS] C:\Windows\system32>get-messagetrackinglog -messagesubject "exch07-user1 to
 exch13-user1" | fl
Timestamp               : 3/28/14 2:18:00 PM
ClientIp                : fe80::a5d8:d604:af26:37a9
ClientHostname          : EXCH07.contoso.local
ServerIp                : fe80::a5d8:d604:af26:37a9%10
ServerHostname          : EXCH07
SourceContext           :
ConnectorId             :
Source                  : STOREDRIVER
EventId                 : RECEIVE
InternalMessageId       : 4106
MessageId               : <CC47D79927E02645940E84883BD0D909F58F56E607@TO-EXCHAN
                          GE.contoso.local>
Recipients              : {[email protected]}
RecipientStatus         : {}
TotalBytes              : 3897
RecipientCount          : 1
RelatedRecipientAddress :
Reference               :
MessageSubject          : EXCH07-USER1 to EXCH13-USER1
Sender                  : [email protected]
ReturnPath              : [email protected]
MessageInfo             : 04I:
Timestamp               : 3/28/14 3:12:02 PM
ClientIp                : 2002:960a:116::960a:116
ClientHostname          : EXCH07
ServerIp                : 2002:960a:125::960a:125
ServerHostname          : EXCH13.contoso.local
SourceContext           : 08D1189FA5E0283C
ConnectorId             : Intra-Organization SMTP Send Connector
Source                  : SMTP
EventId                 : SEND
InternalMessageId       : 4106
MessageId               : <CC47D79927E02645940E84883BD0D909F58F56E607@TO-EXCHAN
                          GE.contoso.local>
Recipients              : {[email protected]}
RecipientStatus         : {250 2.1.5 Recipient OK}
TotalBytes              : 4337
RecipientCount          : 1
RelatedRecipientAddress :
Reference               :
MessageSubject          : EXCH07-USER1 to EXCH13-USER1
Sender                  : [email protected]
ReturnPath              : [email protected]
MessageInfo             : 3/28/14 2:18:00 PM
Timestamp               : 3/28/14 3:40:22 PM
ClientIp                : fe80::a5d8:d604:af26:37a9
ClientHostname          : EXCH07.contoso.local
ServerIp                : fe80::a5d8:d604:af26:37a9%10
ServerHostname          : EXCH07
SourceContext           :
ConnectorId             :
Source                  : STOREDRIVER
EventId                 : RECEIVE
InternalMessageId       : 4685
MessageId               : <CC47D79927E02645940E84883BD0D909F58F56E608@TO-EXCHAN
                          GE.contoso.local>
Recipients              : {[email protected]}
RecipientStatus         : {}
TotalBytes              : 3905
RecipientCount          : 1
RelatedRecipientAddress :
Reference               :
MessageSubject          : EXCH07-USER1 to EXCH13-USER1-1
Sender                  : [email protected]
ReturnPath              : [email protected]
MessageInfo             : 04I:
Timestamp               : 3/28/14 4:34:27 PM
ClientIp                : 2002:960a:116::960a:116
ClientHostname          : EXCH07
ServerIp                : 2002:960a:125::960a:125
ServerHostname          : EXCH13.contoso.local
SourceContext           : 08D1189FA5E0295D
ConnectorId             : Intra-Organization SMTP Send Connector
Source                  : SMTP
EventId                 : SEND
InternalMessageId       : 4685
MessageId               : <CC47D79927E02645940E84883BD0D909F58F56E608@TO-EXCHAN
                          GE.contoso.local>
Recipients              : {[email protected]}
RecipientStatus         : {250 2.1.5 Recipient OK}
TotalBytes              : 4345
RecipientCount          : 1
RelatedRecipientAddress :
Reference               :
MessageSubject          : EXCH07-USER1 to EXCH13-USER1-1
Sender                  : [email protected]
ReturnPath              : [email protected]
MessageInfo             : 3/28/14 3:40:22 PM
Timestamp               : 3/28/14 2:18:00 PM
ClientIp                : fe80::a5d8:d604:af26:37a9%10
ClientHostname          : EXCH07
ServerIp                :
ServerHostname          : EXCH07
SourceContext           : MDB:caef6319-6c43-4f5e-8b42-34b112a9f6a4, Mailbox:589
                          783a4-b411-45d8-b359-23095d3cd24d, Event:114759020, M
                          essageClass:IPM.Note, CreationTime:2014-03-28T18:17:5
                          9.653Z, ClientType:OWA
ConnectorId             :
Source                  : STOREDRIVER
EventId                 : SUBMIT
InternalMessageId       :
MessageId               : <CC47D79927E02645940E84883BD0D909F58F56E607@TO-EXCHAN
                          GE.contoso.local>
Recipients              : {}
RecipientStatus         : {}
TotalBytes              :
RecipientCount          :
RelatedRecipientAddress :
Reference               :
MessageSubject          : EXCH07-USER1 to EXCH13-USER1
Sender                  : [email protected]
ReturnPath              :
MessageInfo             :
Timestamp               : 3/28/14 3:40:22 PM
ClientIp                : fe80::a5d8:d604:af26:37a9%10
ClientHostname          : EXCH07
ServerIp                :
ServerHostname          : EXCH07
SourceContext           : MDB:caef6319-6c43-4f5e-8b42-34b112a9f6a4, Mailbox:589
                          783a4-b411-45d8-b359-23095d3cd24d, Event:114778671, M
                          essageClass:IPM.Note, CreationTime:2014-03-28T19:40:2
                          1.777Z, ClientType:OWA
ConnectorId             :
Source                  : STOREDRIVER
EventId                 : SUBMIT
InternalMessageId       :
MessageId               : <CC47D79927E02645940E84883BD0D909F58F56E608@TO-EXCHAN
                          GE.contoso.local>
Recipients              : {}
RecipientStatus         : {}
TotalBytes              :
RecipientCount          :
RelatedRecipientAddress :
Reference               :
MessageSubject          : EXCH07-USER1 to EXCH13-USER1-1
Sender                  : [email protected]
ReturnPath              :
MessageInfo             :
========================================
Message Log on Sending Server EXCH07
========================================
[PS] C:\Users\administrator.contoso\Desktop>get-messagetrackinglog -messagesubject "exch07-user1 to exch13-user1" | fl
RunspaceId              : 4ec43dbc-f727-4ac4-850e-ecac5e5e23ab
Timestamp               : 3/28/2014 3:12:01 PM
ClientIp                :
ClientHostname          :
ServerIp                :
ServerHostname          : EXCH13
SourceContext           : No suitable shadow servers
ConnectorId             :
Source                  : SMTP
EventId                 : HAREDIRECTFAIL
InternalMessageId       : 1236950581391
MessageId               : <[email protected]>
Recipients              : {[email protected]}
RecipientStatus         : {}
TotalBytes              : 5337
RecipientCount          : 1
RelatedRecipientAddress :
Reference               :
MessageSubject          : EXCH07-USER1 to EXCH13-USER1
Sender                  : [email protected]
ReturnPath              : [email protected]
Directionality          : Originating
TenantId                :
OriginalClientIp        :
MessageInfo             :
MessageLatency          :
MessageLatencyType      : None
EventData               : {[DeliveryPriority, Normal]}
RunspaceId              : 4ec43dbc-f727-4ac4-850e-ecac5e5e23ab
Timestamp               : 3/28/2014 3:12:02 PM
ClientIp                : 2002:960a:125::960a:125
ClientHostname          : EXCH13.contoso.local
ServerIp                : 2002:960a:125::960a:125
ServerHostname          : EXCH13
SourceContext           : 08D1189F8F482FF4;2014-03-28T19:09:18.823Z;0
ConnectorId             : EXCH13\Default EXCH13
Source                  : SMTP
EventId                 : RECEIVE
InternalMessageId       : 1236950581391
MessageId               : <[email protected]>
Recipients              : {[email protected]}
RecipientStatus         : {}
TotalBytes              : 5337
RecipientCount          : 1
RelatedRecipientAddress :
Reference               :
MessageSubject          : EXCH07-USER1 to EXCH13-USER1
Sender                  : [email protected]
ReturnPath              : [email protected]
Directionality          : Originating
TenantId                :
OriginalClientIp        : 2002:960a:116::960a:116
MessageInfo             : 0cI:
MessageLatency          :
MessageLatencyType      : None
EventData               : {[FirstForestHop, EXCH13.contoso.local], [ProxiedClientIPAddress, 65.114.181.16],
                          [ProxiedClientHostname, qw01016.businesswatchnetwork.com], [ProxyHop1,
                          EXCH13.contoso.local(2002:960a:125::960a:125)], [DeliveryPriority, Normal]}
RunspaceId              : 4ec43dbc-f727-4ac4-850e-ecac5e5e23ab
Timestamp               : 3/28/2014 3:12:02 PM
ClientIp                :
ClientHostname          : EXCH13
ServerIp                :
ServerHostname          :
SourceContext           :
ConnectorId             :
Source                  : AGENT
EventId                 : AGENTINFO
InternalMessageId       : 1236950581391
MessageId               : <[email protected]>
Recipients              : {[email protected]}
RecipientStatus         : {}
TotalBytes              : 5337
RecipientCount          : 1
RelatedRecipientAddress :
Reference               :
MessageSubject          : EXCH07-USER1 to EXCH13-USER1
Sender                  : [email protected]
ReturnPath              : [email protected]
Directionality          : Originating
TenantId                :
OriginalClientIp        : 2002:960a:116::960a:116
MessageInfo             :
MessageLatency          :
MessageLatencyType      : None
EventData               : {[CompCost, |ETR=0], [DeliveryPriority, Normal]}
RunspaceId              : 4ec43dbc-f727-4ac4-850e-ecac5e5e23ab
Timestamp               : 3/28/2014 3:12:38 PM
ClientIp                : 2002:960a:125::960a:125
ClientHostname          : EXCH13
ServerIp                : 2002:960a:125::960a:125
ServerHostname          : EXCH13.contoso.local
SourceContext           : 08D1189F8F482FFC;250 2.0.0 OK;ClientSubmitTime:2014-03-28T18:17:59.590Z
ConnectorId             : Intra-Organization SMTP Send Connector
Source                  : SMTP
EventId                 : SEND
InternalMessageId       : 1236950581391
MessageId               : <[email protected]>
Recipients              : {[email protected]}
RecipientStatus         : {250 2.1.5 Recipient OK}
TotalBytes              : 6130
RecipientCount          : 1
RelatedRecipientAddress :
Reference               :
MessageSubject          : EXCH07-USER1 to EXCH13-USER1
Sender                  : [email protected]
ReturnPath              : [email protected]
Directionality          : Originating
TenantId                :
OriginalClientIp        :
MessageInfo             : 2014-03-28T18:18:00.077Z;LSRV=EXCH13.contoso.local:TOTAL=36|QDM=35
MessageLatency          : 00:54:38.1220000
MessageLatencyType      : LocalServer
EventData               : {[E2ELatency, 3278], [Microsoft.Exchange.Transport.MailRecipient.RequiredTlsAuthLevel,
                          Opportunistic], [DeliveryPriority, Normal]}
RunspaceId              : 4ec43dbc-f727-4ac4-850e-ecac5e5e23ab
Timestamp               : 3/28/2014 3:12:38 PM
ClientIp                :
ClientHostname          : EXCH13.contoso.local
ServerIp                :
ServerHostname          : EXCH13
SourceContext           : 08D1189F97D8A52F;2014-03-28T19:12:38.090Z;ClientSubmitTime:2014-03-28T18:17:59.590Z
ConnectorId             :
Source                  : STOREDRIVER
EventId                 : DELIVER
InternalMessageId       : 1236950581391
MessageId               : <[email protected]>
Recipients              : {[email protected]}
RecipientStatus         : {}
TotalBytes              : 6130
RecipientCount          : 1
RelatedRecipientAddress :
Reference               :
MessageSubject          : EXCH07-USER1 to EXCH13-USER1
Sender                  : [email protected]
ReturnPath              : [email protected]
Directionality          : Originating
TenantId                :
OriginalClientIp        : 2002:960a:116::960a:116
MessageInfo             : 2014-03-28T18:18:00.077Z;SRV=EXCH13.contoso.local:TOTAL=0;SRV=EXCH13.contoso.lo
                          cal:TOTAL=35|QDM=35;SRV=EXCH13.contoso.local:TOTAL=0
MessageLatency          : 00:54:38.1220000
MessageLatencyType      : EndToEnd
EventData               : {[MailboxDatabaseName, Mailbox Database 1497118588], [Mailboxes,
                          43a77dd2-c8bb-4b4c-804c-e761b15da654], [E2ELatency, 3278], [DeliveryPriority, Normal]}