考古研究指出香港的人类活动可以追溯至五千年前。新石器时代的发掘表明本地文化与中国北方包括龙山文化的石器时代文化是有分别的。在大屿山、赤鱲角和南丫岛已发掘出陶器、石制和青铜的捕鱼工具和兵器。1930年代的考古发现被认为与前6世纪至前3世纪战国时代时香港邻近广东地区的文化有关联。1997年6月至11月进行的马湾东湾仔北之考古发现有二十座新石器时代晚期至青铜器时代早期墓葬。在屯门扫管笏和2001年10月至2002年9月期间在西贡沙下之多项考古调查与抢救发掘，出土新石器时代和青铜器时代的遗物与遗迹。
现时八处石刻已在东龙岛、滘西洲、蒲台岛、黄竹坑、长洲、大屿山的石壁、香港岛的大浪湾和西贡的龙虾湾被发现。这些面向大海的石刻被认为与生活在相当于商朝的香港先民祭祀天气和祈求风平浪静有关。
三千至四千年前，香港一带初期受东南沿海的原始文化影响，后期中原商代的青铜文化传入。至二千三千年前，香港一带属于古越文化的地盘，笼罩于战争气氛中。此时期香港沿海地区出现不少水晶饰物的制作工场，交换珠江三角洲腹地生产的硬陶。
前214年（秦始皇卅三年），秦朝派军平定百越，置南海郡，把香港一带正式纳入其领土。随后香港地区在秦、汉、三国及东晋初年共五百多年的时间内，属番禺县管辖。东晋咸和六年（331年）至唐肃宗至德元年（756年），该地区属宝安县管辖。至德二年（757年）起，经历五代、宋、元，至明穆宗隆庆六年（1572年），前后八百多年间，该地区属东莞县管辖。小规模的盐池亦被发展。唐昭宗光化四年（901年）﹐新界五族的原居民约在开始在香港定居。
736年（唐朝开元二十四年），香港境内设立屯门军镇，派员二千驻守来保护海上贸易。当时军队屯驻在今天的屯门，该区因而得名。
五代十国时期，由于大步（今大埔）一带盛产珍珠，南汉刘氏遂于963年设官办珠场，称为媚川都。宋太祖赵匡胤灭南汉后明令禁止官方采珠，但于971年（北宋开宝4年），朝廷恢复采珠，并于九龙湾一带（今观塘）设官富场，派盐官驻守，直至南宋后期。至元朝曾复采官珠，但受到士绅反对，不久又再次停办。
香港海岸线漫长，故香港多处皆适宜兴建盐场。971年（北宋开宝四年）于现时九龙湾一带设立官富场并派盐官驻守，负责产盐及统筹各小型盐场。1183年（南宋孝宗淳熙十年5月29日）大奚山（今大屿山）的私盐被禁引起公元1197年（南宋宁宗庆元三年）大奚山发生骚乱。
南宋末年，两位小皇帝宋端宗赵是和宋帝昺赵昺被元朝军队逼迫逃到香港，据说曾在土瓜湾一块大石头上休息，人称该处为宋王台。后来宋帝昺在梅蔚登基，因元军追赶，遂经浅湾循海路西渡前往新会。但当船只驶至今日广东新会崖门时，被元军赶到，陆秀夫于是背负8岁的赵昺跳海而死。
明代的香港地区在商贸上已渐渐蓬勃起来，人口亦有所增长，更成为海防要地。当时，明代在这里设防，主要是为了防御南中国海一带的海盗、日本来的“倭寇”、葡萄牙和荷兰的侵略者。明朝中叶，广东沿海有三路巡海备倭官军。其中的中路“自东莞县南头城，出佛堂门、十字门、冷水角诸海澳”。佛堂门在香港地区，该地区显然属于中路的防御范围。万历年间的《广东沿海图》中已标有香港以及赤柱、黄泥涌、尖沙咀等地名。
此外，香港在明朝时盛产及出口香木。这种香木属于莞香，又名女儿香，当年在广东与江浙等地备受欢迎。据说，“香港”的名称的由来就是因为香木的盛产和出口。而明朝是香港种香及产香业的全盛时期。从香港的沥源（今沙田），大奚山（今大屿山）沙螺湾等地生产的香树制品皆用木箱装好，会经陆路运至尖沙头（今尖沙咀）的码头，用小艇送到石排湾（今香港仔），再用俗称“大眼鸡”的艚船运至广州，遁陆路经南雄，越大庾岭，过赣江至九江市，沿长江送往送往苏杭销售。
香港在中西外交关系史上也占一席位。佛朗机（今葡萄牙）将领安德拉德（Fernao Pires de Andrade）在1516年率船队前往中国，并于翌年8月15日抵珠江口与明朝广东地方官员接洽，是为葡萄牙和明朝的第一次官方接触。事实上，早于1514年（明朝正德九年）葡萄牙已派兵抵达并攻占屯门，控制香港地区的屯门和后海湾达七年，并于当地立石柱，刻该国国徽于其上，以示占领。明军于1521年（正德十六年）向葡萄牙开战，史称屯门海战，战役持续了40天，葡军陷入苦战，最终狼狈返回马六甲。翌年4月，葡军再派出由六艘军舰组成的舰队企图重新占领屯门，8月两军在大奚山茜草湾附近对峙。此战从茜草湾海面一直打到了哨州海面，最后明军大获全胜。
清代香港属新安县管辖。清廷为防沿海居民接济明朝遗臣郑成功，遂于1662年（康熙元年）下令迁海，沿海居民须向内陆迁徙50里，使居民家园尽失。加上实施海禁，香港本区受严重影响。迁海后渔盐业废置、田园荒芜，沿海居民深受迁海之苦，广东巡抚王来任、广东总督周有德请求复界。1669年（康熙八年）朝廷终允复界，本区居民陆续迁回。因此新界五族于上水设立报德祠恭奉两公该祠及邓族于锦田设立周王二公祠内设周王二公书院并每十年打醮一次以作答谢。
清朝中叶，随著清朝与外国有更多接触，接近当时贸易中心广州的香港也成为了各国商船的停留点之一，当中以瀑布湾最为著名。而朝廷亦加强对香港一对的军事防卫，例如设立官涌炮台等。1839年6月20日，九龙尖沙咀村发生林维喜案。英国水兵在村内醉酒闹事，打死村民林维喜，林则徐要求英国商务总监义律交出凶手, 义律却自己轻判了事。此事因而成为第一次鸦片战争的导火线，为香港被割让埋下伏笔。同年11月，中英随即爆发穿鼻之战，英方战败后逃回尖沙咀，林则徐便下令军队驻在尖沙咀附近的官涌（今佐敦）还击，结果成功将英军驱逐出尖沙咀，史称官涌之战。
东印度公司在康熙三十八年（1699年）成功地成立往返中英两国的海运企业，然后有很多英国商人来到中国。东印度公司在康熙五十年（1711年）在广州成立了一个贸易站。因英国需在中国大量采购茶叶，而中国不需向英国购货，故导致英国严重贸易逆差，几近出现白银荒。后来英国人向中国倾销鸦片，平衡两国贸易，但此举使中国出现贸易逆差，白银大量外流，致通货膨胀；民众也因吸食鸦片而损害健康。
第一次鸦片战争、割让香港岛
两国的贸易磨擦终导致的第一次鸦片战争（1839年至1841年）。清朝被英国打败，英国海军的查理·义律与清朝大臣琦善谈判后签订《穿鼻草约》，将香港岛割让予英国。义律根据协议，于1841年1月20日登陆今上环水坑口街 (Possession Point) 一带，并占领香港岛。但清政府认为琦善无权割地而不承认穿鼻草约，并将琦善革职。而当英国政府收到《穿鼻草约》的消息后，亦对条约中无提及开放通商而大为不满，于是改派砵甸乍(Henry Pottinger)为全权代表到中国。之后战事扩大，英军先后攻占厦门、宁波、上海、镇江，抵达南京下关。清政府被迫命耆英于1842年8月签订《南京条约》，正式将香港岛割让予英国。自此香港成为英国殖民地。
英国发动鸦片战争的另一个主要目的是要取得与中国贸易的自由。在香港建立基地以后，即宣布香港为自由港。英国的商人，包括鸦片商贩，逐渐将香港建立成与东方自由贸易的枢纽。美国的鸦片商贩及银行家亦有到香港参与跟中国的贸易。
1851年太平天国起，不少华南商人迁往香港逃避战乱。香港人口由1851年的33,000多人，增至1865年的12万多人。香港亦逐渐取代广州，成为中国沿海的主要转口港。除了货物的转运外，香港亦成为华南中国人移居海外的中转站。从1851年至1900年期间，超过200万广东及福建人经香港移居海外，或被运往海地充当劳工。
第二次鸦片战争、割让九龙半岛
1856年至1858年，清朝再败于英法联军，被逼在1860年签下《北京条约》，把九龙半岛上经常对香港岛扰乱治安的地区再割让给英国。当时的清廷已经是日薄西山，在九龙半岛上的新边界只用矮铁丝网分割，位置就在今天的界限街。
1890年代，南中国发生鼠疫。1894年春，在广州传出超过十万人死亡的消息。同年五月，太平山中国人集中聚居的地区亦爆发了病症，每天的死亡人数最多达一百人。结果当年之内共有2,552人死于瘟疫，为数约十万名的华人离开香港，贸易额亦一度大幅下降。之后三十年之内，鼠疫仍偶尔在香港出现，1898年至1900年期间，便再有1,290死于鼠疫。
租借新界
1897年中国山东发生德国传教士被杀事件，德国乘机占据山东的青岛，俄国亦进驻旅顺和大连。英国则占领山东的威海以平衡列强势力。同时法国亦借机进驻广东的广州湾(今湛江)。为了平衡法国在南中国的势力，英国政府以香港的防卫需要加强为由，向清政府从1898年7月1日起租借九龙界限以北，深圳河以南的新界。这些地方后来成为现在的新九龙、新界，以及邻近的两百三十六个离岛。租借为期九十九年，在1997年6月30日午夜12时届满。
19世纪末到20世纪初
19世纪末到20世纪初，香港发展成为与南中国贸易的转口港。香港人口稳步增加，市区面积亦按此增大。1876年香港人口14万人,至1914年已增至50万人。随著城市发展，香港一路增设各种现代市政建设，例如电车、火车、煤气、电力、电报等等设施一一在香港出现。
1912年，总督卢吉 (Lugard) 为抗衡德国在上海办同济大学，以“为中国而立”为名，向广东士绅募集经费，成立香港大学，为香港培养技术人材。
1925年，上海发生示威学生被英籍巡捕开枪打死之五卅惨案，中国全国出现反英活动，在广州国民政府支持下，香港及广州同时出现针对英国人之省港大罢工。
中华民国建立以后，1925年成立的国民政府有意取消不平等条约。无奈国力不继，国民党的北伐使政府无闲考虑取回香港的主权。
香港亦是新思想传入中国的窗户之一。在1949年以前，中港两地市民可以自由来往。在香港不少华人学习到西洋知识。部份香港年青人受西方教育，因而接受了西方的现代思想。他们对改变中国政治、社会现状提出了各种不同的主张；在香港发表言论以至付诸实际行动。香港的华人在1887年已提出清廷的洋务运动不足自强，是维新运动的先驱。1890年代中起，主张推翻满清的革命思想亦在香港的华人青年中出现，各种革命组织在香港秘密成立，并且多次在南中国发动革命。到辛亥革命以后，香港仍然影响中国政局；国民政府成立之初，有香港人捐钱资助北伐，有些更加入国民政府里工作。前国民政府外长伍廷芳就是当时香港的名流。在国共合作期间，广州国民政府曾发动针对英国的省港大罢工，对香港实行封锁。1927年国民党清共，部份共产党员逃亡香港秘密集会、办报支持共产党运动。港英政府曾一度与国民党合作，将到港的共产党遣回中国。此后，国共两党也在香港暗自做情报工作。港英政府对此采取容忍态度，却绝不容许这些人影响英国对香港的殖民统治，故政治审查报章、电台节目，例如二战前有些敏感的报纸内容会给明显遮盖。亦成立政治部（已于1997年解散）监视两党在港的一举一动。
香港在英国统治下的发展，在第二次世界大战中被日军占领时中断。
日本自1931年九一八事变后即展开对中国的侵略。1937年7月，抗日战争全面爆发，日军在大亚湾登陆，并迅速攻占广州及邻近地区，之后南下至深圳河北岸，与英军为界。大量难民逃到香港，香港人口由1931年的八十七万九千，增至1941年的一百六十四万。由于香港的华人亦有为中国的战事，出钱或出力对抗日本。日本对此感到不满，曾多次向香港政府抗议香港华人的反日行为。
日军在偷袭珍珠港当天，即民国30年（1941年）香港当地时间 12月8日由酒井隆指挥从深圳进攻香港。负责防守香港的包括有英国、加拿大、印度士兵和香港义勇军。日军不单有数量上的优势，而且在开战的首天便取得制空权。英军和印军撤退到醉酒湾防线，然后撤出九龙半岛。英军和渡海后的日军继续激战。最终英军失去了唯一的水塘 (香港对水库的称呼)。加拿大兵团在战事中负责扼守从市区通往港岛南部的黄泥涌峡要道。
1941年12月25日，港督杨慕琦代表英国殖民地官员向当时总部设于九龙半岛酒店三楼的日军投降，从此揭开香港三年零八个月的日治时期。
日军随即成立军政厅，由酒井隆出任最高长官，直至矶谷廉介抵任首位管治香港的日本总督。酒井隆在港期间，日军在香港杀人无数。根据事后酒井隆在战犯法庭的审判记录，他在香港犯下的罪行如下：
- 1941年12月17日至12月18日，在鲤鱼门屠杀了30名囚犯。
- 1941年12月18日在摩星岭炮台屠杀了24名囚犯。
- 1941年12月19日屠杀了一队20人的英国医疗队。
- 1941年12月24日至12月26日，强奸七名护士，当中有三人死亡（据香港富豪何鸿燊在黄霑的访问中忆述，当时有不少英籍女护士在香港大学附近被人奸杀）；杀害60至70名受伤的战俘。
日军在香港滥杀无辜，香港市民反日情绪高涨，有平民在香港岛的山头伏击日军将领。到了日军占领的中期，更有香港居民参与东江游击队，在新界等地方对抗日军。
日治时期，香港在经济、民生等方面皆受摧折。经济上，日军强迫香港市民以港币及法币(国民政府货币）兑换日本军票，到了战后所有的军票都不获承认而变成废纸。战时与中国大陆的贸易大幅下降，香港的经济陷入低谷。日本又在香港实行皇民教育，除了禁止使用英文及强迫使用日文，香港的街道地区亦被改成日文。由于食品及其他物资严重不足，加上日军在香港实行疏散政策，鼓励或强迫市民离开香港；战后香港的居民人数大减至七十万左右。1943年和1944年的日治后期，更出现人吃人事件。
中国第二次世界大战中抗战胜利以后，中华民国国民政府一度在联合国上要求收回香港，但碍于当时国共内战已经开始，国民政府又没取得美国支持，无力向英国政府取回香港。1950年，英国承认位于大陆的中华人民共和国（也继续承认撤退到台湾的中华民国），是苏联以后第一个承认新政权的欧美国家。
因国民党政权被推翻，数以万计的人从大陆逃到香港。香港人口由1947年的180万，增加至1951年的220万。新移民提供了廉价劳动力，更重要的是把技术和资金都带来香港。因共产党推行锁国政策，不少外国公司把办事处从上海搬到香港。这些都为香港经济迅速发展创造条件；香港摇身一变成为制造业中心。1956年10月10日，右派工会策动大规模破坏活动，连日捣乱300多家左派报馆、学校、工厂、商店、工会，并放火焚烧商店、推翻汽车封锁道路导致交通瘫痪，暴徒并四出抢掠导致300人死伤，称“双十暴动”，港督葛量洪派遣军警搜捕暴徒才告平息。国民政府的情报人员从此被禁止进入香港。
不过在经济迅速发展的同时，孕育了社会问题。六十年代，不少青少年相信共产主义。1967年，在中国大陆的文化大革命影响下，一场香港的劳资纠纷演化成暴动。香港商业电台著名节目主持人林彬因公开批评暴动而被纵火谋杀身亡。香港街头被暴徒放满写上“同胞勿近”的真假土制炸弹，使香港陷入一片恐慌之中，许多人移民英国，经济一片萧条。而深圳方面的红卫兵亦多次意图越过中港边境，并与沙头角的香港警察发生枪战。后来中国的总理周恩来，坚持不打算收回香港，这事件方逐渐平息。
暴动过后，港英政府意识到要改善民生，缓和社会矛盾。港督麦理浩在任内推行多项措施。最主要的是推行廉价出租公屋、出售“居屋”政策，使低下阶层逐渐由山边寮屋搬至公屋，改善生活环境。另外，麦理浩成立总督特派廉政专员公署 （ICAC）打击政府内严重的贪污问题。部份警员曾因为廉政公署的严厉行动而一度以行动对抗。后来政府宣布对特定日期前的警员贪污行为不予追究，事件方为平息。政府打击贪污取得可观的成就，使香港成为最廉洁的社会之一。政府亦推行“九年免费强迫教育”、大学生资助计划、廉价和优质医疗等，使香港步入现代化城市之列。再加上经济迅速增长，香港与台湾、新加坡和韩国四个地方并列“亚洲四小龙”。
1970年代初期，由于新界土地契约的问题，使港英政府不得不考虑香港前途的问题。英国政府曾经多次要求向中国政府延续新界的租约，揭开了中英两国就香港主权移交问题达20年争拗的序幕。
随著中国大陆在八十年代的经济开放，加上本地工资上升，香港的制造业逐渐北移。香港逐步转变为以商业及旅游为主的城市。香港在人均寿命、识字率及人均收入等各项社会经济指标皆拥有骄人成绩，足证香港在20世纪最后40年所获得的成就，但主权前途问题却亟待解决。1980年代初，新界租约将于十多年后届满，最初英国向中国提出分拆香港的“主权”及“治权”，主权归中国，但英国人仍保留治权。不少香港传统上流社会的政治及商界精英，开始时亦支持有关建议。传统英国资金的商业力量，如汇丰银行、怡和洋行，亦曾参与游说工作。当时的商界年青领袖李鹏飞曾率领当时香港的工商界精英组成“年青才俊团”亦前往北京提出有关建议，但遭当时的领导人邓小平否定。中国坚持英国对香港没有主权，只有治权；而且中国不单要收回新界，更认为把香港岛和九龙割让的是“不平等条约”的产物，必须整体收回香港；但承诺保障香港人“高度自治、港人治港”的权利。
事实上，在十年前的1972年11月8日，联合国大会通过了决议案，认可了中国对香港的立场和要求。根据一封在1972年3月给联合国反殖民小组主席的信件，中国常驻代表黄华表示，香港及澳门属于被英国及葡萄牙占领的中国领土。解决香港及澳门问题是中国主权内的事务，而不属于一般的殖民地问题。他同时表示，中国在适当时候将使用和平手段解决香港及澳门问题。在此之前香港及澳门应保持现状。
邓小平认为香港的自由经济体系不同于内地的社会主义体制，立即融合对双方均无好处，故提出“一个国家、两种制度”办法，在收回主权的同时，容许香港（和澳门）拥有独立的经济及政治制度，即所谓“高度自治”。他同时希望能借此办法解决台湾问题。
1984年12月19日，中英双方签订《中英联合声明》。根据这份声明，英国将在1997年7月1日把香港的主权归还中国，成为中华人民共和国的一个特别行政区。在上述协定中，中国政府会依照邓小平所提出的“一国两制”政策，确保中国的社会主义制度不会在香港实行，并保证香港在除外交及国防外的各方面都拥有高度自治，直至2047年——是谓“五十年不变”。
1986年12月5日，尤德爵士于北京讨论过渡期政制安排期间突然心脏病发病殁，成为唯一一位任内过世港督。由卫奕信爵士接任。
1990年4月4日，《香港基本法》正式通过，象征回归后的小宪法得到落实。一部分人欢迎《基本法》的通过，指其为中华人民共和国最民主的法律；另一部分人则指《基本法》的民主程度仍然不足。
1992年7月，彭定康获委派为最后一位港督。之前彭定康为英国保守党主席，直至他在当年的大选中失去议席。他是唯一一位专业政治家出任港督的任命，之前所有的港督都是在英国外交部工作的官员。相反，彭定康对香港及中国大陆只有很少的认识，他亦不懂得中文或粤语。
彭定康上任后，在香港推行民主政制改革，在立法会增加直选的议席，增加投放在教育、福利和医疗的资源。北京认为彭定康的改革违反了香港的《基本法》，港英政府跟北京之间的关系变得十分紧张。
主条目：香港主权归还
1997年7月1日，英国把香港的主权和治权归还中国。北京拒绝接纳彭定康时期民选的立法局，改为成立临时立法会取代。下级议会即市政局、区域市政局和区议会都作相类的安排。董建华成为第一届香港特别行政区行政长官。陈方安生和曾荫权分别顺利过渡为政务司司长（前称布政司）和财政司司长（前称财政司）。大部分华籍政府高官也顺利过渡到新政府。
以下是一些主权归还后的变化：
- 所有政府机构改为悬挂中华人民共和国国旗和香港特别行政区区旗，取代原来的英国旗及香港旗。
- 除了英语外，多了学校教授普通话。英语仍与中文并列为官方语言（参阅《香港基本法》），以及中小学校的必修科。
- 英女王伊丽莎白二世的肖像从硬币、邮票和政府办公室消失。但1993年前铸有英女王头像的硬币及印有英国皇室纹章的纸币仍然流通。
- 所有组织(如皇家香港天文台、皇家香港警察等)都除去“皇家”的称号，除了皇家香港游艇会的英文名称。
- 法律文件中本来用上“官方”(Crown) 的地方，改称“国家”(State)；被委位为御用大律师(Queen's Counsel)的大律师，改称资深大律师 (Senior Counsel)，法院名称也作了些字眼上的改动。
- 一些与英国有关的假期取消，例如英女王寿辰假期，新加上的假期有国庆日和香港特区成立纪念日。
- 邮筒由红变绿、由圆变方。
- 政府部门标志中的皇冠改为洋紫荆。
其他方面则大多没有改变：
- 特别行政区维持独立的司法系统，继续使用普通法。
- 继续巡逻、维持香港跟中国大陆的边界（虽海界有小改动）。香港的道路沿用左上右落，有别大陆的右上左落。
- 维持关税独立，跟世界各地有自由自主的贸易关系。
- 维持独立的出入境政策，中国大陆居民必须获得签证才可到访香港。香港居民持香港特区护照及英国国民(海外)护照，可于多国享有免签证待遇，出入较中国大陆居民容易。
- 继续比中国大陆容许更多政治自由，包括出版自由、集会自由及言论自由。
主权归还过渡期在1997年6月30日结束。然而，就在三个月后，香港货币受外来冲击，地产产值大幅下跌，加上早前生产线开始北移，和香港扮演中国转口港的优势下跌，失业、通缩问题随之而来。政府连串政策失误如“八万五政策”、教育改革、公务员改革、禽流感疫情处理失误，使社会不满气氛与日俱增。至2004年尾，衰退潮才得缓和。
2005年3月董建华以健康问题辞职。时任政务司司长的曾荫权于6月21日获中央政府正式任命出任特首。2007年3月25日，2007年香港特别行政区行政长官选举顺利举行。选举与上届一样由800人组成的选举委员会进行投票，在泛民主派派出公民党梁家杰参选之下，最后曾荫权以649票当选成功连任。
