太祖洪武初年，膠東半島沿海僅設有萊州、登州、寧海三衛，隸山東都指揮使司。
洪武卅一年，倭寇大掠膠東，太祖遂于當年為山東都司一次性增置了七衛、三守御千戶所，自北向南依次為奇山守御千戶所、威海衛、成山衛、寧津守御千戶所、靖海衛、海陽守御千戶所、大嵩衛、鰲山衛、靈山衛、安東衛。
然因海岸線漫長和衛所事權分散，永樂初年的抗倭戰役、戰斗依然多以失敗收場。
為此，成祖于永樂六年增設「總督登萊沿海兵馬備倭都指揮使司」，簡稱山東備倭都司作為山東都指揮使司之「行都司」，和山東沿海最高軍事機構統一管理山東海防，駐節登州府城。
其下建即墨、登州、文登三大營，劃定防區、統轄衛所。
其中的登州營守御北海，轄登州、萊州、青州左三衛和奇山、福山中前、王徐寨前三所。
登州地處極邊，外接重洋，歷為水軍要塞。
明初升州為府，登州衛下轄七個千戶所，每個千戶所設備倭船十只，共轄戰船七十余只。
此后，為應備倭急需，又于水城建水師府，專設水師營，水師營以參將或游擊統領，歸登萊巡撫提調，這就是登萊水師的前身登州水師。
嘉靖二十五年至三十五年，登州水師共轄水軍五營，即水左營、水右營、水中營、水前營和水后營。
每營設領兵官一人，每營兩哨，每哨設哨官一人，每哨配備福船二艘、海蒼一艘、艨艟二艘。
這樣一來，登州水師共五營十哨，擁有大小戰船五十艘，官兵三干余人。
平時，除中營專司嚴守水城基地外，其余四營各以一哨出海巡洋，其余在港內休整訓練，亦即常年有四哨二十艘戰船在海疆巡防。
明水軍編制，在單船之上有「幫」，「每十只為一幫」。
幫之上有「舟宗」，據明史兵志記載，「修飭海舟，大小相比，或百或五十聯為一舟宗」。
各分屬沿海各水寨，每寨至少一腙計有福建五水寨、浙江寧海六總寨、山東萊州八總寨等，全國共計個水寨此外，沿海每百戶所和巡檢司還各配備戰船條，每千戶所條，每衛條。
到了隆慶年間，魏廣德入閣后，深感山東衛所大量戰船分散，故將其中整個登萊附近衛所所有海船全部調入蓬萊水城，這才有了現在的登萊水師，駐泊地為蓬萊水城。
蓬萊水城又稱登州水城、登州備倭城，是明洪武九年，為了保護作為海路樞紐的登州城，免遭當時活躍的倭寇和高麗海盜襲擊，于是在宋代供戰船停泊的刀魚寨基礎上，建造的設施完備的軍事要塞。
雖然此時已經有了蓬萊水城，可和后世由右僉都御史、登萊巡撫孫元化打造的蓬萊水城相比，當然還是差上許多。
后世遺留下的蓬萊水城，實際上是在現在基礎上進行了大規模改造，除了原本的夯土墻改造為夯土包磚外，部分明初城墻墻體也進行了大規模改造。
甚至，孫元化還在此地摹仿當時歐洲流行的棱堡，建造了部分炮臺，使其真正從水城變成了海軍基地。
當然，此時的大明并沒有真正意義上的海軍，只有水師。
雖然，在大部分人眼里，水師和海軍，似乎是沒有太大區別的，但實際上二者區別極大。
一般來說，水師是特指內陸江河湖海內活動的的軍事艦船部隊，大明施行的是衛所制，所以水營實際上也是依托于衛所，水營官兵本身就是衛所的軍戶。
水師，其實就是「臨時」從衛所中抽調的軍戶組成的水軍。
若是海軍，則至少是獨立于衛所之外組成的軍事力量，能夠擔負獨立外出進攻作戰任務的，才
叫海軍。
我國歷史上海軍很少，基本上都是水軍或者水師。
即便是曾經外出遠海最遠的三寶艦隊，也不是單純的軍事艦船，里面包括軍事艦船，但也很難稱其為海軍，其實屬于護航船隊。
不過到了明朝末年，倒有一支勉強算得上真正意義上的海軍，那就是鄭芝龍的艦隊，完全和大明衛所無關的，活躍在東洋、南洋，掌控海上霸權的海軍艦隊。