曾经袭击过珍珠港、达尔文港及锡兰的南云海军中将率领的航空母舰部队，这次充当进攻中途岛的机动编队。这支机动编队的“赤城”号、“加贺”号，“飞龙”号和“苍龙”号4艘航空母舰为主力，由2艘高速战列舰、3艘巡洋舰和11艘驱逐舰担任护航，并有油船随队航行。这里顺便交代一句，“翔鹤”号和“瑞鹤”号两艘航空母舰留在日本，因为其中有一艘已经受伤，需要修理。这两艘航空母舰在珊瑚海海战中损失的飞机和飞行员都还没有得到补充而未能参战。
日军主力部队在机动编队西面偏南的海域待机。其兵力编成如下：山本旗舰“大和”号“大和”号及其姊妹舰“武藏”号(排水量均64000吨)，是有史以来最大的战列舰。主炮9门，口径为460毫米，炮弹重达1452公斤，比406毫米火炮的炮弹约重0.5倍。一座3联装主炮塔的重量，相当于大型驱逐舰的重量。两舷的装甲厚度超过406毫米。它的另一艘姊妹舰于1940年初在横须贺海军工厂动工，但中途岛海战后，改装成“信浓”号航空母舰。第四艘姊妹舰的建造计划后来取消。“大和”号于1941年12月竣工，“武藏”号于1942年7月竣工。等战列舰7艘、“凤翔”号轻型航空母舰1艘、搭载袖珍潜艇的水上飞机母舰2艘、轻巡洋舰3艘和驱逐舰20艘。但于6月3日，又从这支主力部队中抽出4艘战列舰和2艘巡洋舰组成“阿留申支援舰群”，向北开去。
可以认为，阿留申支援舰群北上是为了在进攻阿留申群岛和中途岛的两支部队之间待机，以便对两方面的作战都可以进行支援。
中途岛登陆编队由参加过进攻菲律宾及荷属东印度群岛的第二舰队司令近藤信竹海军中将指挥，下辖5个舰群：(1)12艘运输船，由1艘巡洋舰、10艘驱逐舰、3艘巡逻艇担任警戒；(2)直接支援舰群，由4艘重巡洋舰和2艘驱逐舰组成，负责掩护登陆输送队和支援上陆战斗；(3)近藤海军中将直接掌握的第二舰队支援舰群，以便必要时给登陆兵力以支援，编有2艘战列舰、“瑞凤”号轻型航空母舰、4艘重巡洋舰和7艘驱逐舰；(4)水上飞机供应舰群，准备在中途岛西北的库雷岛建立基地；(5)扫雷舰群，为登陆输送队清扫航路。上述5个舰群都在不同程度上独立进行作战任务。第二舰队支援舰群位于运输船北或西北50余海里的海域，而直接支援舰群则位于运输船的东北约75海里的海域。
日军和往常一样，还派一支由潜艇组成的先遣部队，在联合舰队的前方搜索前进。其中1艘提前出发，对中途岛进行了侦察。在此期间，有4艘部署在阿留申群岛海域，2艘部署在西雅图海域。在此部署中最为重要的是，为控制珍珠港而设立的两条潜艇警戒线：一条配置4艘潜艇，位于瓦胡岛以西约500海里处，另一条配置7艘潜艇，这条警戒线与珍珠港至中途岛的航线成直角。上述潜艇必须于6月1日前进入阵位。
如此庞大的舰队究竟为什么未能完成任务呢？勿庸置疑，美军知道了日军的作战计划是个决定因素。然而，尽管事先已掌握了充分情报，尼米兹还是很不容易才集结了3艘航空母舰赶赴战场。如果没有掌握敌情，就很难设想尼米兹会这么干。因此，有些人说，日军此战受挫的主要原因是没有出奇制胜。