“船坚炮利”，可说是近代国人对西方列强的最初印象。但清政府建造近代海军的过程却一波三折，极不顺利。
在第一次鸦片战争中直接与英国侵略军交战的林则徐深刻感受到近代海军的威力，提出“师夷长技以制夷”的主张，最早提出了建立近代海军的构想。但当时朝野却仍昧于世界大势，还认为中国是位于世界中心的“天朝上国”，外国仍是远逊于中国的“蛮夷之邦”，“师夷造船”有失“天朝”体制，所以不仅安于现状，而且反对买船造船。林则徐提出购买、仿造近代军舰的想法和实践遭到朝野上下的激烈反对，道光帝甚至在林则徐建议造船的奏折上硃批道：“一片胡言”。
林则徐建立近代海军的方案被否定，有名无实、落后腐败、早就不堪一击的绿营水师仍是当时中国唯一的水军。虽然后来在镇压太平天国的运动中，湘军在江南多次与太平军进行水战，不得不建设水师，但仍然都是旧式水军。第二次鸦片战争时期，英法侵略军从海上进攻，最后直入都城，使朝野深受震动，一些人开始认识到近代海军的厉害。从19世纪60年代初清廷开始考虑仿造或向西方购买军舰，这时，距林则徐提出的建立近代海军的的建议已整整20年矣！而就在这20年间，西方的海军发生了飞跃性发展，蒸汽舰已逐步取代帆舰成为海军主要舰只。
1874年末，李鸿章曾上洋洋万言的《筹议海防折》，使清廷开始较以往重视海军建设，开始北洋海军的初创。但与中国漫长的海岸线和面临的险恶的国际形势相比，清廷对海军的重视显然不够，所以十年来，海军发展很不理想，除北洋海军外，其余南洋、福建、广东三支水师发展极其缓慢。更重要、现在看来也更难理解的是，全国竟然没有一个统一的海军指挥机关，各支水师皆由当地督抚管辖，本就很难协同作战，而各督抚更将水师看作是自己的私产，更难调遣。例如，福建属南洋管辖，南洋大臣名义上有对福建水师的节制权，但1879年5月两江总督兼南洋海防大臣沈葆桢曾奏请将南洋各省兵轮每两月调至吴淞口会操一次，以便彼此协调，遇到紧急情况才能更好互相支援作战，对此，福州将军庆春、闽浙总督竟以种种理由推托。南海海防大臣的号令都很难在自己所辖的福建水师中贯彻，全国海军的整体状况便可想而知。简单说，清廷仍是用管理传统水师方法管理近代海军，根本未意识到近代海军装备技术相当复杂，必须统一、系统管理高度，远非当年水师可比。何况，朝野许多人都认为建立一个中国传统“六部”所没有、只有“狄夷”才有的新机构，意味着“以夷变夏”，约略相当于今天可能会被某些人指为“西化”的罪过。
十年后，1884年8月的中法马江战役，是中国近代海军组建以来对外第一仗，却以福建水师几乎全军覆没惨告结束。海军的惨败，才使清廷开始重视海军建设，在1885年6月发布上谕，承认虽然与曾建立造船厂、建有海军，但“造船不坚、制器不备、选将不精、筹费不广”是失败主要原因。表示“当此事定之时，惩前毖后，自以大治水师为主”，并要沿海各督抚“各抒所见，确切筹议，迅速具奏”。这是十年前曾“切筹海防”后的再次“筹议”海防。
在所有奏折中，左宗棠和李鸿章的奏折最受朝廷重视。
一手创办福州船政局的左宗棠对没有全国海军指挥的危害本就十分清楚，此次福建水师全军覆没，更以惨烈的事实证明了这一点。所以他立即上奏朝廷，提出要成立“海防全政大臣”或“海部大臣”，“凡一切有关海防之政，悉由该大臣统筹全局，奏明办理。畀以选将练兵、筹饷、造船、制炮之全权，特建衙署驻扎长江，南拱闽粤，北卫畿辅。该大臣或驻署办事，或周历巡阅，因时制宜，不为遥制，另择副臣，居则赞襄庶务，出则留守督工，权有专属，责无旁贷，庶成效可立睹矣。惟此大臣任大责重，必品望素著，深通西学，为中外倾服者，始可当之。”收到此折后，慈禧发布“懿旨”：“海防善后事宜，著军机大臣、总理各国事务衙门王大臣会同李鸿章，妥议具奏，醇亲王奕訢著一并与议，所有左宗棠等条奏各折片，均著给与阅看。”
对没有统一的海军指挥机关的危害，李鸿章当然也十分清楚，早在1884年2月末，即中法马江海战半年前，他就曾向总理衙门建议设立“海部”统管全国海军。当时总理衙门想专设一“海防”衙门，沿海七省海军建设大事由一重臣统筹。但这个机构却不设在京师，而外设在烟台，说明其级别之低与实权之小，仅是一地方性大臣。针对对此提议，李鸿章专门给总理衙门写了“请设海部兼筹海军”函，认为此议不可取，因为中国海疆辽阔，从旅顺、大连到台湾、海南岛，仅以一仍是地方性大臣主管根本行不通。因为此事“非一人之才力精神所能贯注，而形格势禁”无法“长驾远驭”。他尤其提醒总理衙门，这样会使这位重臣的权力过大，削弱中央权力，“开外重内轻之渐”。而他的意见是，这时应直接在京城设立作为中央机关的“海部”，而不是另建一带有地方色彩的“海防衙门”。他指出，西方各国“外部、海部并设衙门于都城，海部体制与他部相埒，一切兵权、饷权与用人之权悉以畀之，不使他部得掣其肘。海部大臣无不兼赞枢密者，令由中出，事不旁挠”。他知道海军在近代中国是一个新军种，建设地方性近代海军已遇强大阻力，如在“中枢”设立海部，一定会遇到顽固派更强大的反对、指其为“以夷变夏”。所以他特别强调不能因为海军是从外夷传来“而厚非之”，因为“中国议论多不屑步人后尘”，其实我们完全可以“楚材晋用”；他知道总理衙门用“海防”一词而不用“海部”一词也是迫不得已，本意是想“踵其实而避其名”，避开顽固派的反对，但他认为大可不必，应直接用“海部”，因“海防二字顾名思义，不过斤斤自守”，所以不足以张国威而灭敌人的威风，在外患如此严重之时，应该直接在首都设“海部”，才有可能救急。由于清廷对设“海防衙门”本不重视，再加李鸿章的反对，此事便不了了之。
当然，李鸿章要设立“海部”这一急迫的建议更未得到朝廷赞同。但半年后中国海军马江惨败，朝廷再次“筹议”海防，转机突现。李鸿章自然不会放过这一等了十年才来的机会，立即上了个长折，充分展开、论述了建立全国性“海军衙门”的理由。在这个长长的奏折中，李鸿章并不就事论事，而是详细、全面回顾了近十年来近代海军建设的艰难历程，提出了海军事业的发展蓝图。他把这些年自己的想法与苦水一倾而出，字里行间隐现出对朝廷对海军事业重视不够的不满和对今后能得到朝廷的支持的期盼。他分别谈了舰船、舰队、造船、军港、船坞、炮台、学校等几个方面的具体情况。李鸿章的介绍如此之细，确令人惊讶，同时令人不禁想起约二十年前他对枪炮弹药、蒸汽机的详细描述介绍。不能不承认，他是清王朝“近代化”的启蒙者。在写到创办培养海军人才的各类学校遇到的种种困难、因而成效有限时，他更是感慨良多，对朝廷的不满甚至溢于言表：“惟朝廷似不甚重其事，部臣复以寻常劳绩苛之，世家有志上进者皆不肯就学。”包括李鸿章在内的“微臣”很少敢在奏折中对朝廷表示不满，然而他之所以在此公开表示不满之情，因为他认为新式海军人才的培养是海军建设的重中之重，必须引起朝廷的足够重视。他知道，“科举制”是妨碍新式海军学校建设的重要原因，人们仍以走科举之路为“正途”，所以他提出必须给海军学校学生以“登进之阶，令学成者与正途并重”，并提出了“新文凭”与“旧文凭”之间如何“折换”、进而如何补职升官的具体方案。若真正办理海军事业，需要大量资金，所以李鸿章在奏折中还提出了筹集经费的种种办法。
最后，他明确提出建立一个统管全国的海军衙门：“西国设立水师，无不统以海部，即日本亦另设海军以总理之。”而中国分南、北两洋，且各省另有疆臣，调遣困难、意见也不统一，许多规章制度也不同，“任各省历任疆吏意为变易，操法号令参差不齐，南北洋大臣亦无统辖划一之权”。这种混乱状况，怎能打仗？怎能不立即设立一个全国性的指挥机关？还能恪守“六部”旧制以“从夷”之名反对新设海军衙门吗？
收到李鸿章的奏折，清廷认为所言甚有道理，便要他来京，与中枢各位大臣一同商议其事。9月30日，清廷谕令军机大臣、总理衙门王大臣、会同李鸿章妥议海防事宜，醇亲王奕譞也一并与议。最后由总理衙门复奏，提出设立海部或海防衙门，由特派王大臣综理其事，考虑到可供海战之船不多，暂时先从北洋已有船只精练海军一支，等到以后再考虑其他舰队。由于各地督抚的复奏也大都主张统一海防，尽管具体措施有所不同，所以慈禧太后于10月12日发布懿旨，同意成立“总理海军事务衙门”（简称“海军衙门”），由醇亲王奕譞为总理，庆郡王奕劻、李鸿章为会办，曾纪泽为帮办。海军衙门成立后，贯彻先精练北洋海军方针，所以北洋海军有较快发展；1888年10月，清廷批准李鸿章具体负责的《北洋海军章程》，标志着北洋海军正式成军。
然而，虽然成立了海军衙门，统管全国的海军事务，但它的总理、会办、帮办却全是兼职，竟无一人在衙专职办事！由此可见，清廷对海军的重视程度仍然有限。其实，海军衙门早就应该成立，应有专人办理，但清政府却长期没有冲破旧的意识形态的识见与勇气，不承认现代海军必须全国统一管理是一种普适的规则，长期坚持管理传统水师的“特色”来管理现代海军，旧机构不敢撤新机构不敢设，只有在经过巨大失败、被痛打一番后才被迫设立。从中亦可看出，无论大事小事，清政府很少事前主动变革、大多是事后被动应变，确已病入膏肓了。
