大方の人が誤解していることだが、戦前の日本には「海軍」という組織はなかった。もちろん、「海軍」は存在した。それは憲法からも明らかである。にもかかわらず「海軍」と呼ばれる統一されたひとつの組織が存在したことはない。
もう少し具体的にしてみよう。例えば「プロ野球」を考えてみるとよい。「プロ野球」という統一された組織はない。あるのは、各球団と全体のまとめ役である「プロ野球機構」である。「プロ野球機構」は、企業としての各球団に対してある程度の指導権は持っているが、各球団を「プロ野球機構」の下部組織とみなすことはできない。にもかかわらず、いわゆる「プロ野球界」といえばこれらの集合体と考えられているし、「プロ野球界」の構成員とそれ以外を区別することもできる。
「海軍」もこれに似ている。あるひとりの代表者（天皇は別。天皇は海軍だけを代表しているわけではない）の下に置かれたひとつの組織としての「海軍」は存在しない。個々の組織の総称としての「海軍」は間違いなく存在した。これらの組織は「海軍」の一部であり、「海軍」にしか所属しない（例外もあるが）。
結局、海軍とは天皇の下に置かれたいくつもの組織の集合体でしかない。これらの組織は個々に天皇に隷属しており、横のつながりは現在考えられているよりも弱かった。むしろ組織としての形態よりも、これらの組織がひとつの「海軍軍人」という共通の集団から構成されていることによる一体感の方が大きかっただろう。
これらの事情は陸軍も同様である。
海軍に属する組織を大きく「官衙」「軍隊」「学校」「特務機関」の４つに分類する。官衙とはいわゆる「役所」のことであって、事務機関であり、海軍省などがこれに該当する。ここで言う軍隊は一般に言われる軍隊よりも狭い意味で、実動部隊のことを言い、海軍官衙や学校は含まない。学校はいうまでもなく教育機関で、海軍では各官衙もしくは軍隊に分属させていた。特務機関はこれ以外の組織のことで、元帥府・軍事参議院・侍従武官府などを言う。諜報活動に従事する特務機関とは別の概念である。
海軍軍人という定義も実はない。「海軍刑法」に定義する「海軍軍人」が実態に一番近いものだろう。強いて定義するならば、「海軍大臣が人事権を持つ武官および兵」とでもすべきか。しかし、これらの人事権も最終的には天皇に帰するし、高級人事については天皇が決定権を保持している（実際に立案するのは海軍大臣で、それが拒否されることはあり得ないが）。
軍属というと軍人よりも格下に思われるかもしれないが、定義としては「海軍に従事する文官」で、中将相当の軍属も存在した。
既述の通り、「海軍」という組織はない。各組織は、それぞれ別個の法令に基づいて組織されている。実際には、ほとんどが勅令に基づいている。例えば、海軍省は「内閣官制」「各省官制通則」「海軍省官制」によって組織され、軍令部は「軍令部令」、各艦隊・戦隊は「艦隊令」、航空隊は「海軍航空隊令」に根拠を持っている。各官制では個々に隷属関係・指揮／指示関係を定義しており、これらの官制すべてを参照しなければ各組織の関係は完全には網羅できない。とは言え、基本は同一である。
各官制には必要に応じて「省令」あるいは「達」という形で細目が追加されている。例えば「艦隊令施行令」といった具合にである。
独立して天皇に直隷する組織には、官制にその旨記載されている。例をあげると、海軍省、軍令部、各独立艦隊、各鎮守府などがそれである。これら直隷組織への命令権は天皇だけが持っており、他の何者も行使できない。
直隷組織以外の組織は、直接あるいは間接に直隷組織に隷属している。隷属関係は、必ず上位組織１に対して下部組織１もしくは多であって、複数の上位組織に隷属することはない。海軍のどんな組織も、隷属関係を通じて最終的には天皇に隷属していることになる。これは軍人勅諭で述べる「軍隊の天皇直率」の形式を整えようとしたためと思われる。
隷属関係は必ずひとつの上位組織を持つ。しかし、指揮もしくは指示については、その事項によって複数の組織から受けることがある。この指揮・指示は通常直隷組織に対して行なわれ、下部組織には隷属関係を通じて伝達される。
一般に、海軍大臣は海軍内の全ての組織に対して「人事・教育・編制」に関し指揮権を保有している。かつては平時の作戦行動についての指揮権も保有していたがのちにこれを軍令部に譲った。海軍全体の人事権を掌握している海軍大臣の権限は非常に大きく、海軍最大の実力者と言える。しかし、この海軍大臣も非隷属組織に対する命令権は持っていない。
また、軍令部総長は海軍の軍隊に対して「作戦」に関し指示をする。「指揮」と「指示」の違いは明確にされていない。「指揮」の方が「指示」よりも大きい概念であると考えられていた。
軍隊相互間、あるいは軍隊と官衙・学校などの間でも事項によっては指揮権を持っていた。例えば鎮守府長官は緊急時に防御のために所在部隊を指揮できた。
陸軍では、「指揮・指示」といわず「区処」という言葉を用いていた。「区処」は「指示」よりもさらに範囲が小さいと概念されていた。
海軍省は「内閣官制」「各省官制通則」「海軍省官制」に根拠を持ち、その長たる海軍大臣は国務大臣として内閣に列する。海軍の組織は少なくないが、憲法に根拠を持つのは国務大臣たる海軍大臣だけである。
海軍大臣は「人事・教育・編制」について天皇を輔弼する責任があり、この責任を果たすために海軍省が置かれている。海軍大臣は現役大中将をもって充てるとされており、かつ同時に内閣官制に定める国務大臣として文官の身分を併せ持つ。海軍では政治に関与できるのは海軍大臣ひとりという不文律があり、海軍大臣は全海軍を代表して政府と交渉する責務を負わされていた。
海軍省には各省と同じく次官（現役中少将、大臣と同じく文官の身分を持つ）、大臣官房、各局などが置かれているが、他省では省令に委ねられている局課の編制が海軍省官制に定義されているところが異なる（陸軍も陸軍省官制で定義されていた）。
局の編制は時期により多少かわったが、おおむね「軍務局」「人事局」「教育局」「軍需局」「経理局」「医務局」「法務局」などが存在しており、この中では特に軍務局が重要である。軍務局は海軍としての政策立案を主管する事実上の意思決定部署である。
この他、海軍省には「艦政本部」「航空本部」「水路部」などの外局と、「海軍兵学校」「海軍大学校」などの一部の学校が隷属していた。
軍令部はかつては「海軍軍令部」と呼ばれていたが昭和８年の「軍令部令」制定により単に「軍令部」と呼ばれるようになった。作戦について天皇を輔弼する機関であり、陸軍の参謀本部に相当する。長たる軍令部総長は天皇に直隷する。
軍令部総長の最重要任務は、天皇の命令を各部隊に伝達することである。実際にはこの命令も軍令部総長（および軍令部）が立案したものにほかならないが、形式としては天皇が決定したものを伝達するという形をとる。通例、細部については軍令部総長から指示せしめるという但し書きをつけ、大綱を述べるに過ぎない。
兵力量決定の責任はもともと海軍省にあったが、その運用を考えるのは軍令部だから、兵力量決定に参与できない軍令部には不満があった。やがて軍令部は、海軍省から兵力量決定についてその意見を尊重するという合意をかちとり、これをきっかけに伝統的に圧倒的に海軍省に有利だった省部（海軍省および軍令部）関係を変更することに成功した。
軍令部には総長の他に次長、第一ないし第四部長と、その下に課が存在したが、軍令部令では海軍省官制ほど詳細な規定がなされておらず、かなりの部分が総長の裁量に委ねられた。また、海軍省では定員が定められていた「出仕」の規定が軍令部についてはなかったため、一時的に補職がない場合、「軍令部出仕」とされるケースが多い。
軍令部でもっとも重要なのは作戦を担当する第一部およびその下の第一課である。
厳密には官衙ではないが、軍隊でもない特務機関として「元帥府」「軍事参議院」「侍従武官府」「大使館附武官」などが存在した。これらの機関は庁舎の存在しない書類上の機関で、前３者は基本的には天皇の顧問機関である。
「元帥府」「軍事参議院」は天皇からの諮問に応じて長老の立場から意見を表明する機関で、「侍従武官府」は天皇に常時従い、天皇と軍の橋渡しをするとともに日常の下問に答える機関である。
「大使館附武官」は外交官として在外公館に派遣されて情報収集に従事するものである。これは公開のものでいわゆる諜報員とはまったく異なる。
この他、「元帥附副官」「軍事参議官附副官」「皇族附武官」などが特務機関に分類される。
外戦部隊は聯合艦隊に代表される。しかし、聯合艦隊は海軍の外戦部隊のすべてではなく、時期によっては大部分ですらなかった。
昭和期以降を考えた場合、平時においては日本海軍は第一ないし第三艦隊の三個艦隊を編制するのが通例だった。うち第一・第二艦隊で聯合艦隊を編制し、第三艦隊は聯合艦隊から独立して主に大陸方面の警備にあたっている、という体制が支那事変勃発まで続いた。
支那事変の勃発においても、聯合艦隊の側にはさしたる変化はなく、隷下部隊の一部が適宜第三艦隊の指揮下に入って作戦していたに過ぎない。第三艦隊は支那事変の拡大にともなって支那方面艦隊に改編され、隷下に三個艦隊を持つまでになったが、聯合艦隊から独立しているという関係には変わりはない。支那方面艦隊は、終戦まで聯合艦隊からは独立したままだった。
昭和１５年に南洋群島の警備にあたる第四艦隊が編制されたが、これも当初は聯合艦隊から独立していた。昭和１６年に入るころになると、日米関係の緊迫にともない部隊の新編が続き、これらの一部で新艦隊が編制されて聯合艦隊に編入されるようになった。先の第四艦隊も聯合艦隊に編入され、開戦の時点で聯合艦隊は都合９個艦隊を隷下に持つまでになる。
開戦後は、占領地の拡大により外地に警備部隊を多数編制する必要が生じた。これら警備部隊の上級組織として艦隊が新編あるいは改編された。こうした警備を主任務とした艦隊のさらに上級にいくつかの方面艦隊がおかれ、聯合艦隊に編入された。この措置は、地方警備という任務に対する聯合艦隊司令部の負担を軽減するためのものだったろう。
聯合艦隊に所属する機動運用部隊はその機能ごとに艦隊に編制されて聯合艦隊の直接の指揮下にあったが、昭和１９年の１年間でほとんど消耗し尽くしてしまい、順次解隊されていった。結局聯合艦隊の手元に残ったのは潜水艦部隊と航空部隊だけだった。末期には聯合艦隊の作戦が特攻一本槍となったため、その主力となった航空部隊を指揮する航空艦隊がいくつも編制されることになる。
このころになると外戦と内戦の区別はほとんど意味がないものとなり、全部隊を統一指揮するために「海軍総隊」司令部が設置されて聯合艦隊・支那方面艦隊・各鎮守府・海上護衛総隊をあわせて指揮することになった。ただし、実態は聯合艦隊司令部に新しい看板を付け加えたに過ぎない。
内戦部隊を代表する鎮守府は、日本および周辺海面を３ないし５の海軍区に区分し、その防御に責任を持つとともに後方支援をつかさどる。その長たる鎮守府司令長官は天皇に直隷する。
鎮守府長官は隷下警備戦隊、防備隊、海兵団ほか所属部隊を指揮して担当海面の警備および防御にあたるが、のちにはそういった防衛任務よりも外戦部隊に対する後方支援任務が中心になる。すなわち、海軍区内における徴兵、あるいは志願兵募集にあたり兵および下士官の人事処理をおこない、在籍艦船への配員、補給、整備をつかさどり、さらに所在工作庁、病院、学校を指揮するといった具合である。
かつては航空隊も基地所在鎮守府に隷していた。これはのちに航空隊が外戦部隊化するにしたがって解消されたが、教育を担当する航空隊は鎮守府隷下に残された。
終戦直前の本土決戦体制下では本来内戦部隊である鎮守府も外戦部隊化し、特攻部隊が鎮守府隷下に多数配属された。
小型鎮守府とでもいうべき要港部が鎮守府下の要港に適宜置かれていた。要港部司令官はのちに天皇直隷となり、やがて警備府司令長官に格上げされた。
海軍において、少なくとも兵員の配置のある部隊はすべて「分隊」に区分されていた。「分隊」は陸軍のそれと違って大尉もしくは少佐を長とする正式の組織であって、分隊長の辞令は海軍省人事局から発せられる。
兵員は必ずいずれかの分隊に配属される。たとえ教育期間中であっても、学生もしくは練習生でもって分隊を編制する。分隊は分隊長と、分隊附の士官若干名、そして下士官兵からなるが、下士官兵は必要に応じて班に区分され、班長は下士官が勤める。
分隊長は部下兵員に責任をもち、部下の人事権（昇進申請、賞罰、懲戒、考課）を握っている。分隊はほとんどすべての海軍組織の基礎であって、陸軍で中隊を基礎としていることに似ている。ただし、分隊は同一の（少なくとも類似の）兵種から構成するのが原則で、陸軍と違って分隊によって構成人数の違いが大きい。
日本海軍では、軍艦とは一部大型艦艇のみを言った。しかし、「艦船令」「艦内編制令」「艦船職員服務規程」に定義する軍艦の編制はすべて軍艦以外の艦艇に準用するとされており、基本的にはそれほど差はない。したがって、ここでは軍艦以外を含む艦艇について述べる。
軍艦の長は艦長である。通常大佐が補職される。艦長は一艦の責任者であって、艦のすべての乗員に対して指揮権をもつ。その権限は非常に大きく、その一方で責任は重い。それだけにやりがいもあり、「海軍軍人となった以上、大将長官とはなれなくても艦長は一度はやってみたい」とか、「軍歴の中で大将長官になったときよりも艦長になったときが一番嬉しかった」などの感想が伝えられる。
軍艦には艦長を補佐する副長と、航海・砲術・水雷・通信・運用・飛行・整備・機関・工作・医務・主計の各科長が必要に応じて置かれ、各科の下には１つ以上の分隊が配属される。科長が分隊長を兼ねるケースも多い。
分隊は基本的に戦闘配置ごとに区分されている。生活の指導者である分隊長／班長は戦闘時の指揮官でもある。分隊・班ごとに戦闘時・入出港時・救難時・通常時・緊急時などの各配置における役割が定められている。
駆逐艦や潜水艦などは、軍艦よりも格下と考えられ、複数が集まって１隻の軍艦に匹敵すると考えられていた。この１隻の軍艦に匹敵する組織が「駆逐隊」や「潜水隊」である。これらの隊の長は司令と呼ばれ、軍艦艦長と同格の所轄長とされた。駆逐艦や潜水艦の長は正確には「駆逐艦長」「潜水艦長」と称し、軍艦の「艦長」とは区別され、大尉ないし中佐が配属された。
航空隊も基本的には駆逐隊・潜水隊などと同格で、その長は司令、階級は通常中佐ないし大佐であったが、その性格上基地に依存する度合が大きく、したがって当初は基地所属鎮守府に隷した。のちに特設航空隊が多数設置されて外地に送られるにしたがい、こういった形態が実態と合わなくなり、外戦部隊については鎮守府の隷下を離れることになる。ただし、兵員配置の都合で所管鎮守府は相変わらず定められた。
そののちも、教育を担当する航空隊は依然として内地にあったので、これらの航空隊は引き続き鎮守府隷下にあった。末期の本土防空戦ではこれらの航空隊も鎮守府隷下部隊として防空に参加する。
艦隊の編制は「艦隊令」などで規定されている。「艦隊」は複数の軍艦から組織される部隊で、必要に応じて航空隊などを附属する。のちに「艦隊令」は改正されて、軍艦は必ずしも構成要件ではなくなった。したがって、これ以降は軍艦を持たない「艦隊」も存在する。
艦隊の長は司令長官または司令官で、天皇に直隷する。司令部には幕僚として参謀長、参謀、副官などが置かれるが、司令官を長とする場合には参謀長は必要に応じて置かれる。後年、参謀副長という役職ができて一部の艦隊で置かれた。艦隊は複数の艦隊を指揮下に置く場合があり、かつては聯合艦隊だけが唯一の例だったが、のちにはその例は多くなり、その階層も一層だけではないこともあった。複数の艦隊を指揮下に持つ艦隊は「方面艦隊」を名乗ることが多いが、「艦隊令」上は通常の艦隊と区別はない。
艦隊には、その役務に応じて番号または名称を与える。「航空艦隊」「遣支艦隊」「南遣艦隊」などが編制されたが、いずれも艦隊の名称に過ぎず、編制上の差は（法令上は）ない。
艦隊内部は必要に応じて戦隊に区分する。一部の部隊は艦隊司令長官の直率とすることもあるし、区分された戦隊も長官直率の例は非常に多い。第一艦隊の主力たる第一戦隊は、第一艦隊長官（つまり聯合艦隊長官）が直率するのが例だった。戦隊の長は司令官と呼ぶ。司令部には幕僚として参謀、副官などを置く。参謀長は通常は置かないが、のちには置いた例もある。戦隊には通常の「戦隊」の他に空母や航空隊を中心とした「航空戦隊」、駆逐艦を中心とした「水雷戦隊」、潜水艦を中心とした「潜水戦隊」などが編制された。
学校には、「海軍兵学校」「海軍機関学校」のように海軍外の人材を生徒に採用して海軍軍人を養成する学校と、「海軍砲術学校」「海軍潜水学校」のように海軍内部の軍人に高等技能を教授するいわゆる術科学校がある。これらの学校の被教育者は「生徒」「学生」「練習生」と区別されるが、「生徒」は海軍外から採用されて軍人となるべく教育を受けている者で、「学生」「練習生」は海軍内部から高等技能を習得するために入校した者のうち前者は准士官以上、後者は下士官以下を言う。
一部の学校は海軍省の隷下にあるが、ほとんどは所在鎮守府の隷下にある。例えば「海軍砲術学校」は横須賀鎮守府の、「海軍潜水学校」は呉鎮守府の隷下である、というように。
学校には校長１名、教頭、監事、分隊長、教官・教員が配属される。教官は准士官以上、教員は下士官以下である。海軍では、出世を狙うならば術科学校で専門技能を身に付けるのがもっとも近道であるため、入校および教育期間中の競争は非常に激しい。教育年限は課程や学校によってさまざまだが、術科学校を卒業するとその内容に応じて「特技章」が与えられて手当が与えられるとともに配属も考慮され、ひいては進級が早まることになる。
航空機搭乗員の養成は、海軍の場合学校ではなく実施部隊である航空隊で行なわれた。航空隊の一部を適宜「練習航空隊」に指定し、学校に準じて「学生」「練習生」に教育を施した。この場合、副長が教頭を兼ねる。
海軍の主要兵器である軍艦は技術の結晶であり、そのため海軍では技術を重視した。海軍省隷下の外局に海軍艦政本部および海軍航空本部があり、前者では艦船のみならず武器全般を、後者では航空関係の兵器をつかさどった。
実際の工作庁である海軍工廠や航空廠は所在鎮守府に隷属している。しかし、技術面については実質的には艦政本部や航空本部の指揮をうけた。海軍工廠ははじめ各鎮守府に属する総合工場の意味合いが強く、各工廠ごとに多少の特徴はあったがどの工廠も造船・造兵・造機・研究などの各部を持ってまんべんなくカバーしていたが、広工廠の独立をきっかけに単能工廠が多く設置されるようになった。航空廠はもともとは横須賀航空隊の技術審査部だったのが独立したもので、のちに技術廠に発展した。航空廠では工廠と違って実際の航空機生産・開発は基本的に行なわず、民間企業で開発生産した機材の評価が主な業務だった。
工廠の縮小版とでもいうべき工作部ははじめ要港に設置されていたが、やがて占領地の拡大とともに占領地の要所に特設の工作部が設置されるようになった。
海軍軍人を大きく分けると、まず「武官」と「兵」に分けられる。兵は武官ではない。兵は国民の義務として兵役に服しているので、官吏に採用されたわけではないからである。兵から下士官に進級する際には「任用試験」に合格する必要があり、下士官になることを特に「任官」と称するのはそのためである。つまり、下士官になってはじめて「職業としての軍人」と認められたことになる。
武官はさらに「高等官」と「判任官」にわけられる。「判任官」は准士官以下、「高等官」は士官以上である。ちなみに候補生は「部内限高等官待遇」で、海軍内部では高等官としての扱いをうけるが、これは海軍外では通用しない。
高等官は、まず「士官」と「特務士官」にわけられる。この分類は海軍独特のもので陸軍にもない。「特務士官」は下士官・准士官から叩き上げて高等官にいたった者で、「士官」は「海軍兵学校」「海軍機関学校」などを卒業するか、大学・専門学校などを卒業したのちに高等官に採用された者をいう。「士官」はさらに軍隊指揮権を持つ「将校」と特技（医務・経理・技術など）をもって勤務し軍隊指揮権を持たない「将校相当官」にわけられる。陸軍では「将校」と「将校相当官」の区別は最後にはなくなったが、海軍ではこの区別を最後まで残していた。
官吏の地位を「分限」と呼ぶ。武官（に限らず官吏）は、高等官と判任官にわけられることは既述したが、高等官と判任官の違いは単に地位の違いに留まらない。高等官たる武官は、終身その官を保持すると定められている。現役を退いても武官は武官である。もちろん、俸給は支給されない。このため、高等官たる武官は終身その官にふさわしい待遇を受けることができると同時に、官吏としての義務を負い続けることになる。無給の官吏の例としては他に神社の神職などの例がある。また、終身官の例としては判事・検事などの司法官も終身官である。武官も司法官も、機密事項に触れる機会が多いための処置ではないだろうか。
武官は、（高等官・判任官にかかわらず）軍の都合で現役を離れることがある。現役を離れた武官は予備役に編入される。予備役および後備役にある武官は、必要に応じて召集されることがあるので、その所在を常に明らかにしておかなければならない。
予備役の期間は、高等官と判任官で異なる。判任官の場合、予備役編入後何年（時期によって変動がある）、その後さらに後備役を何年と定められ、後備役期間が終わると退役し、官吏の分限を失う。高等官は予備役編入後、現役定限年齢（いわゆる定年）までは何年あっても予備役である（定限年齢は階級によって異なる）。予備役編入後、５年間は後備役期間で、それを過ぎると退役となり召集されることはなくなる。しかし高等官の場合、退役しても武官の身分を保持しているのは既述の通りである。
憲法の規定によりすべての国民は兵役の義務を負うと定められていたが、実際には兵役法の規定により兵役義務は１７歳から４０歳までの（内地）男子に限られていた。逆にいうと、この年齢にある男子はすべて（兵役免除にならないかぎり）なんらかの形で兵籍に登録されていることになる。もっとも、少なくとも平時にあっては２０歳以前に兵役のために拘束されることはなかったし、戦時にあっても年齢が引き下げられたりはしたがこの事情は変わらなかった。
２０歳になると兵役検査をうけ、合格者のさらに一部は現役兵として徴集されることになる。基本的に陸海軍を選ぶことはできなかった。海軍の徴兵は現役３年で、陸軍の２年より長い。志願兵の服役期間は５年であった。海軍ではもともと志願兵を中心にしており、徴兵をとるようになってからもその比率は志願兵と同数程度で、ほとんどを徴兵でまかなっていた陸軍とは様相が異なっていた。その海軍も戦争末期には大量徴集を余儀なくされ、陸軍に割振られていた兵を海軍に転籍して徴集したこともあったという（徴集されなくても兵籍はあるので陸海軍の別は決まっている）。
軍属とは、海軍に勤務する文官のことである。高等官たる文官は他の官庁と同じく「高等文官採用試験」を経て採用されるので、エリート中のエリートであり軍人よりもむしろ昇進が早いケースもあった。海軍省で勤務する書記官はその最たるものである。
海軍軍属の大多数は技師が占めており、この多くは工員／技手からの昇進組であるため最高官はそれほど高くない場合がほとんどであるが、中将相当にまで昇進することもあった。その他、各学校で普通学を教える教授や軍法会議の判事・検事となる法務官などが軍属に挙げられる。戦争中、技師の一部が技術士官に転官したり、法務官が法務士官として武官化したりした。これは、軍属は軍人ではないので陸軍から一兵卒として召集される可能性があったため、これを防止するためだったといわれる。
軍属は正式に海軍省が採用した文官であるが、傭人は各組織で独自に採用した非軍人である。例えば工廠の採用した工員であるとか、あるいは各部隊で採用した理髪師や洗濯夫などがこれにあたる。工員などは昇進次第で軍属に採用された。
海軍内部においても、各組織は独立していた。ましてや、陸海軍にあっては組織的な接点は非常に少ない。しかし、戦時にあっては陸海軍の統一作戦が必要になることはいうまでもない。そこで、戦時に限って天皇統率下に「大本営」を設けて陸海作戦の調整にあてることとした。古くは大本営の長は陸軍の参謀総長がつとめること、とされており海軍はその下風に置かれていたが、やがて陸海対等となった。しかしこれによって大本営は実質的に共通作戦策定機関から陸海調整機関になってしまった。
大本営の構成員は、陸海軍の統帥部すなわち参謀本部と軍令部の構成員そのものである。これに海軍省から多少の追加がされるが、実際には軍令部に「大本営海軍部」という肩書きを付け加えたに過ぎない。
なお、大本営海軍部が（天皇の名において）発する命令を「大海令第何号」と称するが、これは「大本営海軍部命令」の略ではけしてない。なぜなら、第一次大戦では大本営は設置されなかったが「大海令」は発出されているからである。「大海令」はひとつの名詞であると考えるのがよい。
天皇に常時随従し、軍と天皇の連絡係となるとともに天皇の日常の軍事顧問となるのが侍従武官であり、その勤務する（概念上の）官庁を「侍従武官府」と呼ぶ。侍従武官は陸海軍双方からそれぞれ複数名補職され、その最上級者を「侍従武官長」とするが、この「侍従武官長」は例外なく陸軍から出た。
侍従武官とは別に、皇太子附武官として「東宮武官」「東宮武官長」が置かれた時期もある。また、皇族は原則として陸海軍に勤務すること、とされていたので皇族には御附武官がつけられた。ただし、これはその皇族が所属する軍からだけ出ている。
憲兵は陸軍の組織であるが、同様の組織が海軍にないため海軍大臣にも憲兵に対する指揮権が与えられていた。実際には大臣や次官などの警護に利用されるくらいで、陸軍のように調査活動に利用することはほとんどなかったらしい。所詮は陸軍の組織であるため、海軍の内情が陸軍に漏れることをおそれたためではなかろうか。
海軍大臣は、国務大臣のひとりとして閣議に列する。閣議の一員として国務について意見を表明するのは当然だが、海軍大臣（および陸軍大臣）には、閣議と無関係に単独で天皇に意見を奏上する権利が認められていた。この上奏権が海軍大臣に閣内で力を与えていたことは間違いない。
また、海軍大臣には「現役大中将」という資格規定があったため、内閣の組織にあたって人選に制約が大きかった。実際、海軍の承認なくして海軍大臣を任命することはできない。この権利を活用したのはもっぱら陸軍で、海軍が海軍大臣の任命を拒否して組閣を潰した例は１例しかないが（しかもこの当時は「現役」条項はなかった）、こういった制約があること自体が与えた影響は否定できない。
現役軍人が帝国議会議員となるのは、次のふたつのケースしかない。つまり、公爵もしくは侯爵の当主として必然的に貴族院議員となるケースと、皇族の互選議員として貴族院議員となるケースである。現役軍人には衆議院の選挙権／被選挙権はなく、伯子男爵の互選によって貴族院議員に選出された場合には予備役に編入されると定められており、現役軍人の勅撰貴族院議員任命はなかったからである。上記ふたつのケースにおいても、これらの議員の活動はきわめて低調だったとされており、実質的に現役軍人が帝国議会で議員として活動する場はなかったといってよかろう。
予備役／後備役／退役軍人が帝国議会議員に選出されるケースは割と多く、これら軍人議員は政府や軍にとってはうるさい存在だったようだ。