民國五十七年，為響應政府學人歸國服務號召，返國出任臺灣大學政治系客座教授，次年，接掌政治系及政治研究所主任。民國六十四年，奉派為駐薩爾瓦多共和國全權大使。民國六十五年，出任中國國民黨中央委員會青年工作會主任，六十七年擢升為中央委員會副秘書長，同年並出任行政院青年輔導委員會主任委員。
民國七十年十二月，膺任交通部長，在將近六年任期之內，使頭緒紛繁的交通業務展現許多開創性的成果，如環球航線的建立、臺北市區地下鐵路的興建，與臺北現代化火車站的建造等，都是劃時代的創舉。民國七十六年五月調任行政院副院長，任內主持行政院環境保護小組、港澳小組、行政院組織法研究修正專案小組等工作，對於我國行政方針，諸多整體性規劃。民國七十七年七月，連先生出任外交部長，在李總統「務實外交」理念主導下，以靈活務實作法，開拓我國國際活動的空間。除先後與巴哈馬、格瑞那達、貝里斯、和幾內亞比索建交，以及與賴比瑞亞、賴索托復交外，並推動「海外經濟合作發展基金」的成立，恢復亞洲開發銀行理事會活動，以及進行以「臺澎金馬關稅領域」名義申請加入關稅暨貿易總協定。
民國七十九年六月，由省議會議員同意，調任臺灣省政府主席，在二年八個月任內，連先生秉持「以民為主」、「依法而治」、「求根務本」、「創新致遠」四項基本施政理念，展開全面省政建設。並頻頻走訪基層，深入民間，先後近三百次，又廣邀全省各級民意代表及鄉鎮村里基層人員座談，直接溝通意見。其勤政親民的作風，普獲好評。尤其是推行「富麗農村」、「文化均富」、「祥和社會」、「城鄉均衡」等重要施政措施，均能切中時弊，符合省民同胞的願望。其中，「富麗農村」係以實現農業生產企業化、農民生活現代化及農村生態自然化為目標；而「文化均富」則注重城鄉文化差距的縮短、文化設施的普及、以及文化活動中傳統與現代的兼容並蓄；另「祥和社會」方案的推動，旨在培養互助互愛、知禮守法的國民，促進和諧溫馨的社會風氣。主持省政近三年，績效斐然，深獲議會的支持與肯定，有「政通人和」之譽，證明確實是一位有政治長才，能調和朝野推動政務的行政首長。
民國八十二年，連先生榮獲李總統提名，經立法院全體委員數日夜的質詢答辯，始高票同意，任命為行政院院長。就任後，首先宣布「全方位施政」決策，並以厲行民主政治、強化繁榮經濟、精實國力基礎、建設祥和社會、提升昌明文化等各方面，兼顧並進，謀求在二十一世紀來臨之前，實現「國家現代化」的目標。
在政治施政方面，連先生貫徹以民為主、主權在民、憲政至上的理念，積極突破數十年來迄未破解的法制盲點，完成了「省縣自治法」、「直轄市自治法」，以及「總統、副總統選舉罷免法」的立法，並先後於八十三年十二月，及八十五年三月，順利舉行了首任民選省、市長，與首度直接民選總統、副總統的歷史性壯舉。
連先生在就任行政院長四年以來，均以務實穩重態度，先後訪問馬來西亞、新加坡，以及宏都拉斯、巴哈馬、薩爾瓦多、瓜地馬拉，墨西哥，與奧地利、匈牙利、捷克、尼加拉瓜、教廷、愛爾蘭等諸國，獲得增進國際情誼的實效。並曾在就任伊始，儘先推動了我與大陸兩岸關係的進展，於八十二年四月在新加坡促成兩岸中介團體負責人的會談，達成了突破性的四項協議。雖於八月間未獲後續談話進展，但民間接觸交流仍多增進。連先生並於同年十二月間，發布「排斥零和，走向雙贏」的重要意見，深受各界重視與認同。隨後又屢次誠懇表達，期待兩岸有理性、善意、互惠、互利，乃至談話協商、和平統一的中長程發展意願。使二千一百萬同胞的福祉，與中華民族整體的前途，均能兼籌有益，並顧無礙。
至於國內為增進政治安定發展的措施，連先生就任行政院長伊始，即厲行「行政革新方案」，以「建立廉能政府」為總目標，以「廉潔」、「效能」、「便民」為重點要求。並推行「公職人員財產申報法」，又配合成立「中央廉政會報」。均能持續進步，展現陽光政治的實效。
在經濟建設方面，連先生積極推行「振興經濟方案」、「發展台灣成為亞太營運中心計畫」，並全力促進加入關貿總協定，及世界貿易組織，以及推行「南向政策」等方面，都有顯著進展。國家財政與經濟實力、均續有改善與增進。國際注目的外匯存底，一度超過一千億美元，目前仍維持八百億以上，列世界第二。另為均衡國內城鄉發展，加強公共設施所推動的十二項建設，亦均在全程推動之中。並加重科技建設，將朝向台灣為科技島的理想發展。
在改善生活品質，增進社會祥和方面，連先生在院長就任之初，即倡行「向毒品宣戰」，持續至今，成效卓著。其決心排除困難，堅定推動的「全民健康保險」，實施以來，績效可觀，為民造福匪淺。同時誠心推動的農工漁民，殘障、婦女、兒童、榮民、原住民等較弱勢的民眾團體，都盡力擴大範疇，增進福祉。四年以來，連院長的嘉言懿行，堪稱勳勞備至，其聲華譽望，均與時俱進。
民國八十四年九月，獲中國國民黨李登輝主席提名，以副主席身分獲得全黨代表同意，以李連搭檔參選第九任總統、副總統。於民國八十五年三月二十三日，以超過百分之五十四的得票率，當選第九任副總統，並於同年五月二十日正式宣誓就職，惟仍兼任行政院長一職至八十六年八月底。民國八十八年八月，獲中國國民黨正式提名，參選中華民國第十任總統，隨後並提名行政院長蕭萬長為其競選搭檔。