
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">

<HTML><HEAD>

<META http-equiv=Content-Type content="text/html; charset=iso-8859-1">

<META content="MSHTML 6.00.6000.16640" name=GENERATOR>

<STYLE></STYLE>

</HEAD>

<BODY bgColor=#ffffff>

<DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp; One more to 

add:</FONT></DIV>

<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

<DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OSU_BENCHMARKS are as 

follows:</FONT></DIV>

<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

<DIV><FONT face=Arial size=2>[root@divilab osu_benchmarks]# mpirun_rsh -np 64 

-hostfile ./host1 osu_alltoall<BR># OSU MPI All-to-All Personalized Exchange 

Latency Test v3.0<BR># 

Size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Latency 

(us)<BR>1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

651.27<BR>2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

650.83<BR>4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

647.61<BR>8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

669.23<BR>16&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

658.48<BR>32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

652.27<BR>64&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

663.42<BR>128&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

698.62<BR>256&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

795.00<BR>512&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

2298.14<BR>1024&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

2894.17<BR>2048&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

4510.67<BR>4096&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

8636.66<BR>8192&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

18353.73<BR>16384&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

34942.05<BR>32768&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

43737.38<BR>65536&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

71297.06<BR>131072&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

138771.72<BR>262144&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

273233.08<BR>524288&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

543174.56<BR>1048576&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

1086598.00<BR></FONT></DIV>

<DIV><FONT face=Arial size=2>&nbsp; Are these as expected?</FONT></DIV>

<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

<DIV><FONT face=Arial size=2>&nbsp;</DIV></FONT>

<BLOCKQUOTE 

style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">

  <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>

  <DIV 

  style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 

  <A title=divi@ncat.edu href="mailto:divi@ncat.edu">Divi Venkateswarlu</A> 

  </DIV>

  <DIV style="FONT: 10pt arial"><B>To:</B> <A 

  title=mvapich-discuss@cse.ohio-state.edu 

  href="mailto:mvapich-discuss@cse.ohio-state.edu">mvapich-discuss@cse.ohio-state.edu</A> 

  </DIV>

  <DIV style="FONT: 10pt arial"><B>Sent:</B> Saturday, June 07, 2008 9:07 

  AM</DIV>

  <DIV style="FONT: 10pt arial"><B>Subject:</B> [mvapich-discuss] Re: How to 

  check if MVAPICH is using IB networkbut not ethernetwork?</DIV>

  <DIV><BR></DIV>

  <DIV><FONT face=Arial size=2>&nbsp;&nbsp; </FONT></DIV>

  <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; one more to 

  add:</FONT></DIV>

  <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

  <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; My IB 

  hardware&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8-port Flextronics 

  SDR switch</FONT></DIV>

  <DIV><FONT face=Arial 

  size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;MHES18&nbsp;&nbsp;&nbsp;Mallanox 

  HCA cards</FONT></DIV>

  <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

  <DIV><FONT face=Arial 

  size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ibchecknet shows the 

  following</FONT></DIV>

  <DIV><FONT face=Arial size=2>&nbsp;&nbsp; </FONT></DIV>

  <DIV><FONT face=Arial size=2>&nbsp;[root@divilab bin]# ibchecknet</FONT></DIV>

  <DIV>&nbsp;</DIV>

  <DIV><FONT face=Arial size=2># Checking Ca: nodeguid 

  0x0002c90200244228</FONT></DIV>

  <DIV>&nbsp;</DIV>

  <DIV><FONT face=Arial size=2># Checking Ca: nodeguid 

  0x0002c90200244230</FONT></DIV>

  <DIV>&nbsp;</DIV>

  <DIV><FONT face=Arial size=2># Checking Ca: nodeguid 

  0x0002c902002740fc</FONT></DIV>

  <DIV>&nbsp;</DIV>

  <DIV><FONT face=Arial size=2># Checking Ca: nodeguid 

  0x0002c902002441a4</FONT></DIV>

  <DIV>&nbsp;</DIV>

  <DIV><FONT face=Arial size=2># Checking Ca: nodeguid 

  0x0002c902002441c4</FONT></DIV>

  <DIV>&nbsp;</DIV>

  <DIV><FONT face=Arial size=2># Checking Ca: nodeguid 

  0x0002c9020024422c</FONT></DIV>

  <DIV>&nbsp;</DIV>

  <DIV><FONT face=Arial size=2># Checking Ca: nodeguid 

  0x0002c902002441ac</FONT></DIV>

  <DIV>&nbsp;</DIV>

  <DIV><FONT face=Arial size=2># Checking Ca: nodeguid 

  0x0002c9020024418c</FONT></DIV>

  <DIV>&nbsp;</DIV>

  <DIV><FONT face=Arial size=2>## Summary: 9 nodes checked, 0 bad nodes 

  found<BR>##&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 16 ports 

  checked, 0 bad ports 

  found<BR>##&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 ports have 

  errors beyond threshold<BR></FONT></DIV>

  <BLOCKQUOTE dir=ltr 

  style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">

    <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>

    <DIV 

    style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 

    <A title=divi@ncat.edu href="mailto:divi@ncat.edu">Divi Venkateswarlu</A> 

    </DIV>

    <DIV style="FONT: 10pt arial"><B>To:</B> <A 

    title=mvapich-discuss@cse.ohio-state.edu 

    href="mailto:mvapich-discuss@cse.ohio-state.edu">mvapich-discuss@cse.ohio-state.edu</A> 

    </DIV>

    <DIV style="FONT: 10pt arial"><B>Sent:</B> Saturday, June 07, 2008 9:02 

    AM</DIV>

    <DIV style="FONT: 10pt arial"><B>Subject:</B> How to check if MVAPICH is 

    using IB network but not ethernetwork?</DIV>

    <DIV><BR></DIV>

    <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Hello 

    all:</FONT></DIV>

    <DIV><FONT face=Arial size=2>&nbsp; </FONT></DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Good 

    morning! </FONT></DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I set up a 

    64-core cluster based on ROCKS-5.0 using eight Dell PE2900 

    boxes.</FONT></DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; All are 

    dual-processor QC machines.</FONT></DIV>

    <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; compiled 

    MVAPICH-1.0 (using intel compiler) with default parameters in 

    make.mvapich.gen2</FONT></DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; IB stack 

    is OFED-1.2.5.5. </FONT></DIV>

    <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; My 

    MD program (PMEMD/AMBER) is compiled with no errors with IFORT/MKL libraries 

    and</FONT></DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I could 

    run the code on all 64 cores, but the scaling from 16 to 32 to 64 is 

    terrible. I am inclosing</FONT></DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; the 

    benchmarks on a test run.</FONT></DIV>

    <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

    <DIV><FONT face=Arial 

    size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<FONT 

    face="Times New Roman" size=3> # of CPUs/cores&nbsp;&nbsp; Time 

    (sec)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Nodes 

    (load-balanced)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Scaling 

    (%)<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    82&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;100 

    <BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    16&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    49&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    84&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    <BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    42&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;49<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    64&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    &nbsp;39&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    26</FONT><BR></FONT></DIV>

    <DIV><FONT face=Arial 

    size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; In 

    contrast, on single box, I get a reasonable scaling.</FONT></DIV><FONT 

    face=Arial size=2><FONT face="Times New Roman" size=3><FONT face=Arial 

    size=2></FONT>

    <DIV><FONT face=Arial size=2></FONT><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    # cores&nbsp;&nbsp;&nbsp;&nbsp; time 

    (sec)<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    284&nbsp;&nbsp;&nbsp; 

    (100%)<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    164&nbsp;&nbsp; 

    (87%<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

    107&nbsp;&nbsp;&nbsp; (65%)<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; For 

    some reason, I suspect, MPI traffic is not going over IB 

    net.</FONT><BR></DIV></FONT>

    <DIV><FONT face=Arial 

    size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <FONT 

    face="Times New Roman" size=3>MVAPICH is built using make.mvapich.gen2 with 

    F77=ifort and CC=gcc<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp; mpif77 -link_info 

    is:<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp; /state/partition1/fc91052/bin/ifort 

    -L/usr/local/ofed/lib64 -L/usr/local/mvapich/lib <BR>&nbsp;&nbsp;&nbsp; 

    &nbsp;-lmpich -L/usr/local/ofed/lib64 -Wl,-rpath=/usr/local/ofed/lib64 

    -libverbs&nbsp; <BR>&nbsp;&nbsp;&nbsp; -libumad -lpthread -lpthread 

    -lrt</FONT><BR><BR></FONT></DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp; How can I be sure that 

    MPI traffic is going through IB network rather than ethernet?</FONT></DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp; Are there any specific 

    checks I should perform?</FONT></DIV>

    <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp; Thanks a lot for your 

    help.</FONT></DIV>

    <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

    <DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

Divi</FONT></DIV>

    <DIV><FONT face=Arial size=2>&nbsp;</DIV></BLOCKQUOTE></FONT>

  <P>

  <HR>


  <P></P>_______________________________________________<BR>mvapich-discuss 

  mailing 

  list<BR>mvapich-discuss@cse.ohio-state.edu<BR>http://mail.cse.ohio-state.edu/mailman/listinfo/mvapich-discuss<BR></BLOCKQUOTE></BODY></HTML>