<br><font size=2 face="sans-serif">When I ran a simple MPI application
with &nbsp;mvapich2-1.0.2, I got the following error messages:</font>
<br>
<br><font size=2 face="sans-serif"><i>&nbsp;</i></font>
<br><font size=2 face="sans-serif"><i>Unknown Mellanox PCI-Express HCA
best guess as Mellanox PCI-Express SDR</i></font>
<br><font size=2 face="sans-serif"><i>[3] Abort: Not enough ports are in
active stateneeded active ports 1</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp;at line 424 in file rdma_iba_priv.c</i></font>
<br><font size=2 face="sans-serif"><i>rank 3 in job 1 &nbsp;n23_32790 &nbsp;
caused collective abort of all ranks</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; exit status of rank 3: return
code 252</i></font>
<br>
<br><font size=2 face="sans-serif">But there is a active port in each node.
See the below <i>'ibstat' </i>output.</font>
<br>
<br>
<br><font size=2 face="sans-serif"><i>CA 'mthca0'</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; CA type:
MT25204</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; Number
of ports: 1</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; Firmware
version: 1.1.0</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; Hardware
version: a0</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; Node
GUID: 0x0019bbfffff70cb8</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; System
image GUID: 0x0019bbfffff70cbb</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; Port
1:</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; State: Down</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Physical state: Polling</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Rate: 10</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Base lid: 0</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; LMC: 0</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; SM lid: 0</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Capability mask: 0x02510a68</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Port GUID: 0x0019bbfffff70cb9</i></font>
<br><font size=2 face="sans-serif"><i>CA 'mthca1'</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; CA type:
MT25204</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; Number
of ports: 1</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; Firmware
version: 1.1.0</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; Hardware
version: a0</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; Node
GUID: 0x0019bbfffff7fbe8</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; System
image GUID: 0x0019bbfffff7fbeb</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; Port
1:</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; State: Active</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Physical state: LinkUp</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Rate: 20</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Base lid: 226</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; LMC: 0</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; SM lid: 117</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Capability mask: 0x02510a68</i></font>
<br><font size=2 face="sans-serif"><i>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Port GUID: 0x0019bbfffff7fbe9</i></font>
<br>
<br><font size=2 face="sans-serif">&nbsp;And, whenever I run same job in
nodes with IB port 1 active, it works properly.</font>
<br><font size=2 face="sans-serif">Is there any option in MVAPICH to select
the IB port which should be used ?</font>
<br>
<br>