光緒二十一年后，先后任湖廣道監(jiān)察御史，代理陜西道監(jiān)察御史、刑科給事中、吏部掌印給事中等職。他以言官職便奏請保護(hù)華僑、懲處任意敲詐勒索華僑的官吏。他也主張把臺灣暫租給西方列強(qiáng)，以避免落入日本之手。光緒二十二年三月，奉命管理街道事務(wù)。六月回閩奔喪，見福建船政局造船業(yè)不景氣，曾三次奏請整頓船政，提出“開自然之利”的改革方案，力主開采侯官縣穆源鐵礦，利用船政局現(xiàn)有的機(jī)械設(shè)備進(jìn)行冶煉，產(chǎn)品供船政局使用，并由船政局鑄造洋錢流通市場，以增加財政收入。他還建議利用現(xiàn)有船政局閑置船只，發(fā)展客、貨運(yùn)輸；利用船廠機(jī)器設(shè)備優(yōu)勢，兼營民用產(chǎn)品，并奏請朝廷委派大臣整頓廠風(fēng)。他的主張先后被采納施行，對促進(jìn)福建船政局資本主義經(jīng)營方式的發(fā)展起重要作用。光緒二十三年，他主講鳳池書院，增設(shè)時務(wù)、論策等講習(xí)新內(nèi)容，使“閩中學(xué)風(fēng)為之一變”。同時，他還創(chuàng)建蒼霞精舍，授以英文、算學(xué)新課程，是福建創(chuàng)辦近代學(xué)堂的先聲。次年，受命在籍創(chuàng)辦地方團(tuán)練，并赴建寧黎山試開煤礦。

　　光緒二十五年，陳璧回京銷假，調(diào)任山西道監(jiān)察御史。次年，奉旨在京辦理團(tuán)練，力主對義和團(tuán)運(yùn)動加以鎮(zhèn)壓，曾率團(tuán)勇打死義和團(tuán)10余名。七月二十日，慈禧太后出逃西安，陳璧留守北京。八國聯(lián)軍侵占北京期間，他主持總理公所，所出告示均列“大清年號”。他還聯(lián)合在京的33名官員，電請李鴻章回京主持“和局”，因此，得到清政府賞識。

　　光緒二十七年七月，陳璧升任太仆寺少卿兼順天府尹，受命會辦五城事宜，主持修建東西陵工程。此期間，他重視教育和實(shí)業(yè)的發(fā)展，先后創(chuàng)辦京師工藝局、順天中學(xué)堂、金臺校士館及五城中學(xué)。在順天中學(xué)堂開設(shè)英文、日文、法文等新學(xué)科。工藝局是一所半工半讀的新型學(xué)校，招收少年游民編織景泰藍(lán)、刻字、制作木器、織布等，并教以物理、化學(xué)、算學(xué)、機(jī)械學(xué)、繪圖學(xué)等專業(yè)知識，還設(shè)有專利權(quán)，鼓勵學(xué)員的創(chuàng)造性和積極性。同年六月，他在工藝局中騰出地方創(chuàng)辦農(nóng)務(wù)學(xué)堂，聘用日本農(nóng)業(yè)專家教授農(nóng)、桑、水利、飼養(yǎng)的新方法，另在南苑建立農(nóng)業(yè)科學(xué)試驗(yàn)場，還計劃在遷安縣(今屬河北省)試驗(yàn)科學(xué)養(yǎng)蠶。光緒二十九年八月，清政府新設(shè)商部，陳璧任右侍郎，參與定官制、訂商律、興商會、保僑民以及制訂土貨等章程。十月，卸順天府尹任，十二月轉(zhuǎn)商部左侍郎。

　　光緒三十一年九月，他任戶部右侍郎，補(bǔ)授度支部右侍郎，參與開辦天津造幣廠及大清銀行。十一月，奉命到南方各省考察造幣廠，先后到開封、武昌、南京、清江浦、廣州、福州、安慶等地的鑄幣廠考察，認(rèn)為各廠貪污風(fēng)行，廠務(wù)廢弛，急需整頓。他揭發(fā)福建銅元局馬景融貪污集團(tuán)，全國22個銀元局核定留辦7局，其他各局責(zé)令停止。為杜絕流弊，他制定善后辦法，如規(guī)定銀元成色，限制各廠鑄幣數(shù)額，統(tǒng)一鑄模等，為幣制統(tǒng)一奠定基礎(chǔ)。

　　光緒三十二年，清政府成立郵傳部，作為管理全國郵電、輪船、鐵路的重要行政權(quán)力機(jī)構(gòu)。次年四月，陳璧升任郵傳部尚書兼參預(yù)政務(wù)大臣。他力行改革，嚴(yán)禁官吏挪用公款，貪污腐敗等行為，廢除官吏乘火車、運(yùn)貨免價特權(quán)，實(shí)行存款保密等一系列措施。五月間，他在《整頓幣制以維圜法》的奏折里，提出金融改革計劃，頒布《幣制則例》，規(guī)定以銀元為本位制。七月，陳璧奏請清政府鋪設(shè)鐵路四大主干線及支線，建議以北京為中心，南由京漢路接粵漢路；北由京張路至庫倫、哈克圖；東由京奉鐵路至綏芬；西從正太路接至伊犁。他還積極爭取將列強(qiáng)在中國的路權(quán)逐步收歸國有。年底，他奏準(zhǔn)創(chuàng)立交通銀行，作為籌集路政、郵電資金的金融機(jī)構(gòu)。清政府批準(zhǔn)在全國試行他提出的印花稅法。

　　光緒三十四年，他根據(jù)中比借款合同規(guī)定，提前將借款全部還清，收回京漢鐵路經(jīng)營權(quán)，改訂滬寧路章程，收回用人權(quán)。同時，他奏準(zhǔn)由郵傳部以優(yōu)惠價收回靠近邊境的商辦電線。經(jīng)他努力，“路已成八千里而遠(yuǎn)，電報所達(dá)六萬里有奇，郵政則在都會郡城大半設(shè)立，航業(yè)則長江內(nèi)海漸次推行，雖發(fā)達(dá)未敢驟言，規(guī)模實(shí)已粗具”。他在任內(nèi)十分重視科學(xué)研究，設(shè)立交通研究所，獎勵學(xué)者、科技人員對郵電、水陸交通進(jìn)行研究、改革。為籌措興辦郵、電、輪、路的大額資金，他提出借外債和內(nèi)債的主張，他認(rèn)為借外債必須力杜“債東干涉事權(quán)”，“方足取益防損”。按此原則，他先后向英國匯豐銀行借款500萬英磅，分30年還清。此款除作為還清京漢鐵路的借款外，余額充作籌辦實(shí)業(yè)之用。他推行國內(nèi)第一期公債，總額1000萬元，規(guī)定年息7厘，12年期，可以自由買賣。他對此頗有信心，曾宣稱：“將來各項(xiàng)振興實(shí)業(yè)需要，皆可取給于此”。把發(fā)行公債作為發(fā)展實(shí)業(yè)籌措資金的主要財源。

　　陳璧為官清正，他推行興利除弊的改革措施，觸犯一些滿洲貴族官僚的利益，遭到激烈反對。光緒三十五年，御史謝遠(yuǎn)涵劾奏陳璧“濫用私人，糜費(fèi)公款”等罪名，命大學(xué)士那同、孫家鼐查辦，復(fù)奏：“該尚書才優(yōu)于德，辦事操切，不恤人言”，交部議，革職罷官。

　　陳璧被罷官后，寓居蘇州。宣統(tǒng)三年(1911年)，移居天津。民國元年(1912年)，由津遷滬，翌年移居北京，于西城筑“蘇園”寓居，日以“種花蒔蔬”自娛。晚年，他不忘鄉(xiāng)梓教育，曾寫信建議蘇坂學(xué)堂改革課程，增設(shè)學(xué)科，使“里中子弟益得向?qū)W之途”。還修刊族譜，捐產(chǎn)立義莊贍養(yǎng)本族孤寡。民國十一年再由北京遷天津，民國十七年3月26日病逝。著有《望巖堂奏稿》。