
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">

<HTML><HEAD>

<META http-equiv=Content-Type content="text/html; charset=iso-8859-1">

<META content="MSHTML 6.00.6000.16640" name=GENERATOR>

<STYLE></STYLE>

</HEAD>

<BODY bgColor=#ffffff>

<DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Hello all:

<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

<DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;I 

have&nbsp;just built&nbsp;a 64-core cluster and the following is my 

setup.</FONT></DIV><FONT face=Arial size=2></FONT><FONT face=Arial size=2><FONT 

face="Times New Roman" size=3>

<DIV><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 DP quad-core machines running 

ROCKS-5 and MVAPICH-1.0<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I am using 

8-port flextronic switch (it is SDR switch) and the 

cards<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; are MHES18 (10 GB/sec HCA 

cards)<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I have the following 

questions.<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; How do I know if my 

computation is using IB network or ethernetwork?</DIV>

<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I named each IB card&nbsp;&nbsp; 

"fast1 .... fast8. &nbsp;</DIV>

<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I created a host file&nbsp; with&nbsp; 

8-copies of each of 

fast1,&nbsp;fast2.....fast8.<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </DIV>

<DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; The details of 

8 nodes with IB config below (only two shown)..</FONT></DIV>

<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>

<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;HOST&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

SUBNET&nbsp; IFACE&nbsp; &nbsp;&nbsp;&nbsp; 

IP&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

NETMASK&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

NAME<BR>&nbsp; &nbsp;&nbsp;&nbsp; 

divilab:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

ibnet&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; ib0 &nbsp;&nbsp;&nbsp; 

&nbsp;&nbsp;&nbsp; 20.1.1.1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

255.255.255.0&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; fast1</DIV>

<DIV><FONT face=Arial size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

................................................................................................................</FONT></DIV>

<DIV><FONT face=Arial 

size=2>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;................................................................................................................</FONT><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;compute-0-6:&nbsp; 

ibnet&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ib0&nbsp;&nbsp;&nbsp; 

&nbsp;&nbsp;&nbsp; 20.1.1.8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

255.255.255.0&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 

fast8<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I do not see any scale-up from 

16 to 32 to 64 processes.<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; One benchmark of 

MD simulation (for one picosecond) of a protein 

(FIXa)&nbsp;is<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;given 

below:<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </DIV>

<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; The MD code is PMEMD/MVAPICH with IFORT/MKL 

compilation.<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; # of 

CPUs/cores&nbsp;&nbsp;&nbsp;Time 

(sec)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Nodes 

(load-balanced)<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

82&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

8<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

16&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

49&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

8<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

42&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

8<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

64&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

39&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

8<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I am suspecting that I might have 

not set up something right&nbsp; or&nbsp; SDR&nbsp; switch/card 

limitations...<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; definitely not happy with 

poor scale-up...<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I used all default 

values of&nbsp; make.mvapich.gen2&nbsp; (with intel fortran 9.0). </DIV>

<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; There seems too many options in this 

script. Not sure what most of them would do, therefore, just 

<BR>&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; let the script run as 

such.<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Could somebody offer some help 

on how to fix/improve the scaling?<BR><BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

Thanks a lot...<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

Divi<BR></DIV></FONT></FONT></FONT></DIV></BODY></HTML>