1976年、1980年，中华民国因名称原因被拒或主动缺席奥运赛事。
1984年，直到以中华台北代表团名义，才继续参加赛事，并由蔡温义在1984年夏季奥林匹克运动会获得举重铜牌。
1992年，男子棒球代表队获得银牌，也是中华台北代表团历史上首面球类项目奖牌。
2000年，中华台北代表团在举重、跆拳道、桌球等三种运动项目获得5面奖牌，是首次在单届奥运获得两面以上奖牌。
2004年，跆拳道选手陈诗欣获得代表团历史上第1面金牌，随后出赛的朱木炎也夺下跆拳道金牌。代表团单届2面金牌、奖牌榜名列第31名均创史上最佳，拿下5面奖牌也追平上届总奖牌数。在该届奥运跆拳道项目夺下三面奖牌（2金1银）是在单届奥运成绩最佳的运动项目，2004年7月26日单日双金的两项纪录也保持至今。
2021年，中华台北代表团获得2面金牌、4面银牌、6面铜牌，12面奖牌分布在十种不同运动项目（分别是羽球、举重、柔道、射箭、体操、跆拳道、桌球、高尔夫球、拳击、空手道），刷新奥运参赛以来最佳成绩。除了金牌数追平2004年纪录，也是首次在奥运写下单届奖牌数达两位数的纪录。羽球成为首次夺金的球类项目，代表团在2021年8月1日夺下三面奖牌（2银1铜）也是单日夺牌总数的新高纪录。另外，本届奥运亦是中华台北代表团第一次有出生于21世纪的选手获得奖牌（罗嘉翎、汤智钧、林昀儒）。
2024年，中华台北代表团在该届夏季奥运拿下2枚金牌和5枚铜牌。7面奖牌分布在五种不同运动项目（分别是拳击、羽球、举重、体操、射击）。其中拳击项目首次获得金牌（得主为女子羽量级（57公斤级）的林郁婷），同时拳击项目获得三面奖牌（1金2铜），追平2004年的跆拳道项目奖牌总和，另外射击项目首次获得奖牌（铜牌，得主为男子定向飞靶的李孟远），而羽球项目中出赛的李洋及王齐麟在赛事上夺下金牌，完成奥运会羽球男子双打史上首次连霸的组合，举重好手郭婞淳本届奥运会再次夺下铜牌，也成为代表团史上首位连续三届奥运都有夺牌纪录的选手（分别为2016年里约热内卢铜牌、2020年东京金牌、2024年巴黎铜牌）。
截至2024年巴黎奥运，连同以“中华民国”、“福尔摩沙”及“台湾”名义参赛的纪录在内，中华奥林匹克代表团一共参加过16次夏季奥林匹克运动会，合计共取得43面奥运奖牌，包括9面金牌、11面银牌及23面铜牌；自1984年洛杉矶奥运以中华台北代表团再次参赛后，除了1988年汉城奥运仅在示范项目得到奖牌，每一届至少在正式项目取得一面奖牌，同时自2004年雅典奥运起，每届均能至少获得一面金牌，而2020年东京奥运至2024年巴黎奥运则是首次连续两届奥运会都至少获得两面金牌，其中举重项目自2008年北京奥运至2020年东京奥运连续四届均有选手夺金；而夺牌最多的运动项目为举重（总计11面），其次为跆拳道（总计9面）。