
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2//EN">

<HTML>

<HEAD>

<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">

<META NAME="Generator" CONTENT="MS Exchange Server version 6.5.7638.1">

<TITLE>Failed to Initialize HCA type for mvapich2-0.9.8</TITLE>

</HEAD>

<BODY>

<!-- Converted from text/plain format -->


<P><FONT SIZE=2>Hi,<BR>

&nbsp;I just setup two nodes connected through an IB cable running Fedora Core6 OS kernel 2.6.19-1.2911.fc6 and OFED-1.1.&nbsp; ibstat and ibnodes outputs are below.&nbsp; I ran make.mvapich2.gen2 file in order to create the mpi related files.&nbsp; I am getting following error when I am running mpiexec.&nbsp; Could you please tell me what I am doing wrong?&nbsp; The configure is using --with-device=osu_ch3:mrail inside make.mvapich2.gen2 .&nbsp; I don't know whether I have wrong device or something. Also ulimit -l shows unlimited.&nbsp; Thanks for your help.<BR>

<BR>

<BR>

Prakashan Korambath<BR>

UCLA<BR>

<BR>

------------------------------------------<BR>

<BR>

<BR>

<BR>

-bash-3.1$ mpd &amp;<BR>

[1] 13652<BR>

-bash-3.1$ !mpdboot<BR>

mpdboot -n 2 -f hostfile<BR>

[1]+&nbsp; Done&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; mpd<BR>

-bash-3.1$ mpicc -o bones bones.c<BR>

-bash-3.1$ which mpicc<BR>

~/mvapich2/bin/mpicc<BR>

-bash-3.1$ mpiexec -n 2 ./bones<BR>

cannot create cq<BR>

Failed to Initialize HCA type<BR>

Fatal error in MPI_Init: Other MPI error, error stack:<BR>

MPIR_Init_thread(230): Initialization failed<BR>

MPID_Init(81)........: channel initialization failed<BR>

(unknown)(): Other MPI errorrank 1 in job 1&nbsp; grid4.ats.ucla.edu_33136&nbsp;&nbsp; caused collective abort of all ranks<BR>

&nbsp; exit status of rank 1: killed by signal 9<BR>

-bash-3.1$<BR>

-bash-3.1$ mpdtrace<BR>

grid4<BR>

n11<BR>

<BR>

<BR>

<BR>

-----------------------<BR>

[root@grid4 ~]# ibstat<BR>

CA 'mthca0'<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; CA type: MT25204<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Number of ports: 1<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Firmware version: 1.0.800<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Hardware version: a0<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Node GUID: 0x00066a0098007a39<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; System image GUID: 0x00066a0098007a39<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Port 1:<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; State: Active<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Physical state: LinkUp<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Rate: 20<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Base lid: 1<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; LMC: 0<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; SM lid: 2<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Capability mask: 0x02510a6a<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Port GUID: 0x00066a00a0007a39<BR>

[root@grid4 ~]# ibnodes<BR>

Ca&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 0x00066a0098007a25 ports 1 &quot;n11 HCA-1&quot;<BR>

Ca&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 0x00066a0098007a39 ports 1 &quot;grid4 HCA-1&quot;<BR>

</FONT>

</P>


</BODY>

</HTML>