今青岛市市区，春秋时期属即墨邑，秦代为即墨县。西汉设不其县，辖境与今青岛市区基本一致。隋代撤不其县，复归即墨县辖。
明代在即墨境内设鳖山卫，下辖浮山所。所城在今青岛市市南区东部，辖今市南、市北一带。
1891年清廷决定将登州镇总兵衙门移置青岛口(总兵衙门相当于今省军区)，这一年是青岛建置之始，青岛口形成市镇。1897年德帝国主义派兵强占青岛一带，1898年清政府与德政府签定《胶澳租借条约》，将胶州湾及周围土地，附近岛屿划为胶澳租借地，也称胶澳租界，也误称为胶州。
胶澳总督府于1899年开办胶州图书馆，中国古代有藏书楼，胶州图书馆是中国第一个图书馆。1914年，日本帝国主义借第一次世界大战之机强占青岛，胶州图书馆停办。为”誓死挣回青岛”，1919年爆发了”五四”爱国运动。
1922年12月10日中国政府收回青岛，北洋政府建胶澳商埠，由山东省长熊炳琦兼任胶澳督办，1923年由高恩洪(定庵)接任胶澳督办，公布《胶澳商埠公立通俗图书馆募集图书公启》，筹建图书馆。
1924年8月，胶澳商埠公立通俗图书馆开馆，地址在莒县路2号（见照片），创办经费5，580元，有藏书室2间，阅览室l间，管理员2人，杂役1人。1925年，下设讲演所。
1925年至1928年，每年经费2，020元。至1928年累积藏书5，000册。
1929年4月，南京国民政府接管胶澳商埠，改称”中央”直辖的青岛市，胶澳通俗图书馆停办，原址做国民党青岛市党部图书馆。
1930年6月，青岛市立图书馆在河南路开馆。
1932年，青岛市立图书馆与国民党青岛市党部图书馆合并，由市党部、教育局共同管理。青岛市立图书馆设总馆外，下设四个分馆，第一分馆设大港，第二分馆设沧口，第三分馆设东镇，第四分馆设李村。总馆馆长由李先良兼任(以后李先良任青岛市市长)，有管理员4人，杂役1人。设阅览室三个:报纸阅览室、杂志阅览室和儿童阅览室，借书室2间，闭架管理。四个分馆，各设阅览室，借书室开架借书。青岛市立图书馆采用《中外图书统一分类法》和《王云五四角号码检字法》。经费每月700元，其中总馆375元，分馆325元。总馆开放时间，上午8时至11时半，下午1时至4时半，晚6时至8时半。借书证办理分两种:一为保证书制，凭党政机关出具的保证书办理借书证，二为交纳”押金”办理借书证，外借每人每次一册，借期一周，可续借两次，逾期不还，每逾期一天交罚金5分。青岛市立图书馆除总馆、分馆外，为普及文化设流动图书车及巡回书库。流动图书车共四辆，利用”手推车”改造，每车有报纸3-5种，杂志20-50册，图书五百册，管理人员1人。流动图书车只阅览不外借，定时定点服务。如第一流动图书车，上午在太平路纪念碑(今太平路、青岛路口)、栈桥公园各服务1个半小时；下午在第5公园(火车站前)、台西公园(贵州路)各服务1个半小时。巡回书库专为未设图书室的机关、团体、学校服务，由市图书馆与有意承办单位签订合约，出具保证书，定期换借图书。到1936年，共有藏书15，297种33，940册，其中自然科学图书1，231种1，803册；文学图书3，235种7，882册；儿童读物2，196种3，173册。图书外借每月平均1，100人次，3，500册次。
1937年7月7日，日本帝国主义制造卢沟桥事变，从而开始了全面侵华战争，占据平津后，即将渡过黄河。国民党政府在蒋介石”不抵抗”指示下，决定放弃青岛，青岛市立图书馆于1937年11月停止开放，少量珍贵图书撤至后方。1938年1月10日，日本帝国主义第二次占据青岛，1月17日成立汉奸组织”青岛治安维持会”，接管原青岛市立图书馆。
1939年7月，在伪教育局领导下伪青岛市图书馆开馆，开馆之前对原有馆藏中涉及抗日等爱国图书、杂志尽行销毁，伪馆开馆时共有各类图书一万二千余册。办理借书证仍采取保证书及押金两种方式。因敌伪统治下，青岛只有一份《青岛新民报》，又无杂志，阅览室基本没有报刊，只维持图书外借。
1945年8月15日日本帝国主义投降。1945年12月20日青岛市立图书馆在莒县路2号复馆，开馆之前销毁一批敌伪图书。
1946年12月，青岛市立图书馆设总务、阅览、采编三部，馆长1人，工作人员9人，杂役2人。馆舍三层，一楼有阅览室三个:报纸阅览室、杂志阅览室、儿童阅览室；二楼有书库、借书处、采编部；三楼为馆长室、总务部。报纸阅览室有报纸14种，一半为本市出版的报纸。杂志阅览室仅订有8种，另有赠送的杂志。已分类、编目、上架可供读者借阅的图书10，352册，其中(按《王云五中外图书分类法》)总部350册，哲学475册，宗教276册，社会科学2，475册，政治473册，自然科学768册，应用科学479册，艺术153册，文学2，976册，史地1，927册；未编目图书3，748册，系从敌伪机关接收的图书。
自1947年下半年，市立图书馆取消了购书经费，只发工作人员工资。
1948年，市立图书馆报纸阅览室只有本市报社赠送的6种报纸，而其它报纸没有经费订阅，平均日阅览人数仅为20-30人，平均借书人数仅为5一10人。
1949年市立图书馆已奄奄一息，采编部无钱”采书”，无书”分编”，借阅部基本没有读者。
1949年6月2日青岛解放。青岛市军管会立即派人接管了青岛市立图书馆，原有工作人员全部留用。1950年奉上级指示改称青岛市人民图书馆，迁至广西路14号(见照片)，扩大了馆舍、新购图书、订阅报刊，接管了原兴亚院图书馆馆藏日文图书，其中有日本政治、经济、科技、文学著作，包括《世界艺术大全》、《大百科事典》等大型图书，日译的中国名著，包括《三国志》、《大鲁迅全集》，也包括日本人著的《胶州湾》、《胶州湾详志》等图书，以及兴亚院对中国进行情报调查的资料，有铅印本，也有油印本。接收了原国际俱乐部图书馆藏外文图书，以英文书为主，间有法、德文图书，主要为各国著名文学作品，也有《韦氏大词典》等工具书。图书馆为解决人员不足，在社会上征集业余服务员，每人每周一天到图书馆从事借阅服务、装订报刊等工作。
1950年举办了”鲁迅生平•著作”大型展览，以照片、图片、图书、文字介绍鲁迅生平，展出鲁迅著作各种版本，包括中文的解放前、解放区、解放后各时期版本，日、俄文翻译本。众多大中学生、干部、市民参观。
市政府拨栈桥回澜阁给市图书馆，在阁内开办了报刊阅览室并陈列时事图片，一个新型的社会主义图书馆展现于青岛。
1953年，奉上级指示改称青岛市图书馆，迂至鱼山路37号(见照片)。鱼山路37号是1937年建的红FE字会青岛分会旧址，前楼为罗马式建筑，中院为仿孔庙建筑，后楼为伊斯兰式建筑，实用面积达2，200平方米，有优美的庭园花木，雇有专门的花匠在温室培养花木，管理庭园花木。
为适应社会发展的需要，旧的图书分类总已不适用，青岛市图书馆组织人员编制了《青岛市图书馆图书分类法》，自编图书分类法在全国极为少见。
1953年举办了第一届全市图书馆专业培训班。
市委、市政府下达专项文件，指示各机关、团体、学校中所藏1949年解放以前图书全部上交市图书馆，半年间收到各类图书二万余册，其中中文平装书一万余册。对于当时政治形势下认为”黄色”的武侠、言情、侦探等通俗文学作品，每种保留一册(后交市文化局，含王度庐、刘云若、还珠楼主、张恨水等作品)，其余销毁。其它则存于市图书馆。在知识分子改造、社会主义教育中，社会上掀起捐献图书给国家的热潮，如岛城著名藏书家的张公制、郑爰居、张铮夫等捐献了许多珍善本古籍线装书，赵尔巽、赵琪等后人也捐献了图书。1949年6月2日青岛解放时，市图书馆没有一本古籍线装书，到1953年底已达11万册。1955年，青岛市召开了第一次全市图书馆工作会议，各级各类图书馆代表一百余人参加了会议。
1955年，青岛市文管会办事机构合并于市图书馆办公，所藏图书也交市图书馆。这一年市图书馆迁至茌平路13号，线装古籍仍在大学路1号，外文图书在广西路。1956年，青岛市政府为青岛市图书馆定编，为正县(团)级单位，馆下设”部”为科级单位，全馆编制45人，正馆长、书记为市委宣传部任命干部，部主任为市文化局任命干部。1956年10月，定制为四部一室，即采编部、借阅部、参考部、业务辅导部和秘书室。为贯彻全国知识分子会议精神，采取上门服务等方式为科学研究服务，编印有《明清两代山东人著作书目》、《崂山文献书目》等，配合科研、教学、崂山寺庙修复等方面做出一定成绩。各区文化馆图书室工作人员每周一次在市图书馆进行业务学习。这一时期，市委、市府一些领导人、山东大学一些教授都是基本读者。毛泽东主席、陈毅副总理来青岛都曾借阅过市图书馆的图书。1957年5月迁回鱼山路37号，因部分馆舍做为市博物馆筹备处，馆舍面积有所缩小，部分善本古籍移交市博物馆。这一年山东成立省科委，下设图书组，组长为山东省图书馆，副组长为青岛市图书馆。1958年，即墨、胶县、胶南三县划归青岛市辖，业务辅导由市内各区扩至市属三县，为以点带面，派出三人小组去胶县蹲点，下至各公社，半年内胶县普及了公社图书馆的建设，领先于全国。“大跃进”开始后，部分人员去钢铁厂蹲点服务，普及郊区生产大队图书室，郊区各生产大队均有一名业余图书管理员，由市图书馆借出图书，每月更换一次。全馆同志，除个别老疾人员，每人分工2-3个生产大队，骑自行车或乘长途车下乡送书，远至大河东、崂山半腰的竹窝、以及城阳等地。如以后成为著名农民诗人、民间文学作家的张崇纲，开始是张村生产大队图书管理员，得力于图书室成才。
为解决图书馆分属中央各部委，1958年国务院成立”图书组”进行统一协调，发展图书馆事业，青岛市科委首批拨专款2万元支持市图书馆工作。1959年始在普及的基础上，进一步做好提高工作，为经济建设、科学研究服务。首先设立了科技部、馆内设科技外借处、科技阅览室，馆外深入重点工厂、科研部门。每人分工两个系统，一个重点单位，实行”一、二、三”制度，即每周一天到重点单位上班，与科技人员共同工作，了解需要，学习知识，二天巡回到分工各厂、各科技部门，三天在馆内为了解到的生产科研需要查找图书资料，本馆未入藏的与北京、上海等图书馆进行”馆际互借”，然后再上门送书。一年的时间解决重大生产、科研项目七十多项，其中有利用海水提取”锶”、从理发店收集的废头发中提取胱氨酸、钢铁二厂高炉技改等项目，有的科研单位向市委致信表扬，有的工厂投书报纸表扬，有的工厂派出几十名职工乘汽车敲锣打鼓到图书馆送感谢信。市图书馆还设立了”青岛市地方文献室”，将中外文地方文献集中管理。十几名史学家、文学家在市图书馆积极提供文献的基础上写出了论文和专著，举办了地方文献、诗文展览。这时为实现”资源共享”，在馆内建立了全市外文图书查目中心(全市主要图书馆凡购入的外文书加印两张卡片给查目中心)，并参加了全国外文图书查目中心。编辑、出版了青岛市外文期刊、机械图书、纺织图书、化工图书、轻工图书、建工图书等8种书本式全市联合书目，进行全市图书馆馆际互借，为高级知识分子办理全市通用借书证。承担了全国重点项目《全国海洋水产图书联合目录》的编制，历时一年出版。
由于这些突出成绩，青岛市图书馆被评为全市、全省先进单位，光荣参加了建国以来第一次也是唯一一次中央召开的教科文卫”群英会”，受到了党和政府中央领导人的接见，先进事迹刊于全国性刊物《图书馆》杂志。
1963年北京大学图书馆学系开设函授教育，青岛市图书馆承办青岛函授站，这是当时青岛唯一的大学教育函授班，市图书馆有3个人录取学习，1人毕业。1963年正式建立了藏书组织和目录组织，建立了一整套的互动式目录，印刷了书本式目录。这一年建立了内部资料阅览室，在采购工作、借阅工作中从单一图书向产品样本、标准、报告等特殊资料发展，建有相应目录。
为青岛化工业生产、胶济铁路新站建设等提供了文献资料，在青岛刺绣工业、服装工业、制鞋工业生产中提供了文献，发挥了作用，受到多次表扬。在市委书记张敬焘直接指示下，青岛市文联、市图书馆、市文化馆和工人文化宫联合组织了”每周一讲”，请本市著名学者、专家作报告，并利用全国文人来青休假、开会时请其做报告，一般在工人文化宫举办，参加人数多时则在市政协礼堂。先后请文学家王瑶、孙昌熙、史学家萧涤非、黄公诸、电影演员祝希娟等人做讲座报告，历时两年，共进行五十多次，是当时青岛市一道文化大餐。1965年年底，全馆藏书共达70万册。
1966年6月文化大革命开始。1966年8月开始”破四旧”，停产闹革命，90%图书停止开放，大部分被捆绑堆放。除毛主席著作、鲁迅著作、当时报纸外，一律停止开放。市图书馆建筑上的”四旧”被拆除。部分解放前图书被焚烧。年底，大部分工作人员进京串连，工作中止。
1967年3月青岛市革命委员会成立，青岛市图书馆革命委员会于5月成立，开放借书处、阅览室，主要是学习和大批判，因除毛主席著作外，没有什么书可借阅。
1967年4月馆藏解放前报纸全部移交市档案馆。为配合一次又一次的大批判，编印一些宣传材料。1973年恢复部室，一部分图书开始恢复借阅，报刊品种也有增多。1974年组织全市图书馆双网。一是图书馆协作网，由市图书馆牵头，包括海洋学院、化工学院、建工学院三大院校图书馆及中国科学院海洋研究所、黄海水产研究所等大型图书、资料室。二是基层图书馆网，除中学图书馆网、中央驻青单位图书馆网外，分工会网、情报网。工会网，按专业局建有纺织局、机械局、一轻局、二轻局、化工局、港务局、水产局、仪表局等8个工会图书馆网，仪表局、化工局、纺织局等3个情报资料室网，入网图书馆达136座。
市图书馆与市总工会、市教育局每年对图书馆网有计划、有总结、有评比。各网每月活动一次，互帮互学，使青岛市基层图书馆工作迈入一个新阶段，先后有三十几个市的基层图书管理员来青岛参观学习。与此同时，市图书馆先后组织了5期图书馆业务学习班，参加培训的图书馆专、兼职管理员223人次。
青岛市图书馆藏书由于历史的原因采用了多种不同的”分类法”，古籍线装书采用山东省图书馆古籍分类法，外文图书采用中国人民大学图书馆分类法，早期中文书采用青岛市图书馆图书分类法，1966年后中文书采用中小型图书馆图书分类法。为统一分类方法，1975年起开始启用中国图书馆图书分类法，采用种次号取代四角号码著者号，又开始陆续将原有馆藏改用中国图书馆图书分类法。
1976年党中央一举粉碎了”四人帮”，党的十一届三中全会以后拨乱反正，青岛市图书馆同全国一样进入一个新时期。1978年对全馆部分藏书进行了清点，这是建馆后的第二次图书清点。同时进行了”剔旧”，剔出破旧、过时旧书。1978年底，市图书馆共有藏书72万册，其中线装古籍13万余册，外文图书4。7万余册，中外文期刊1.64千余种。全馆正式工作人员44人，分行政组、采编部、借阅部、科技服务部、参考辅导部。科技服务部继承市图书馆为生产、科研服务的传统。党的十一届三中全会提出以经济建设为中心，科技部坚持下厂、下科研单位，为北海船厂、青岛化工厂等解决多项生产、科研、项目。
1958年开始建立的青岛地方文献在拨乱反正以后重新恢复，除原有解放前的中外文地方文献、地方期刊外，大批日占时期满铁、兴亚院、山东产业馆等调查资料划入地方文献书库，编出《青岛地方文献管理条例》。这期间，编印了《清史稿人名索引》、《青岛大事记(1949-1979)》、《青岛地方文献目录》等重要出版物，受到专家、学者好评。在青岛市地方志编篡全面开展以后，以上方面工作起了重大作用，如港务局寿扬宾同志到馆查阅上百次编写出版了《青岛海港史》地方文献，也为青岛市志各分志的编篡做出重大贡献，受到表彰。
法国、日本老舍研究者到馆查找过有关文献。为编辑出版《老舍文集》、《孟超文集》，老舍女儿舒济、孟超女儿孟博均来抄阅侠文(当时尚无复印机)，三十年代诗人沈旭来馆查阅《青岛邮工》。许多大学教师到馆查阅旧期刊。做为公共图书馆，地方文献工作是不可替代的重要工作，事实做了说明。
1978年山东省图书馆学会成立，青岛市图书馆馆长当选副会长，辅导部主任当选为副秘书长，此后几届换届中大多循此例。1981年我国的专业职称评定工作开始启动，图书资料系列与会计系列首先试点。青岛市图书馆评出副研究员1人，馆员6人。图书资料职称初级评委会办公室设于市图书馆，仪表局等开始评定职称，经过半年试点，中央决定暂停进行整顿。
1980年武汉大学在青岛市图书馆设图书馆学系函授站，首次在青招生。1981年青岛市图书馆联合海洋学院图书馆等8家单位联合创办青岛市图书馆业余专科学校，招收高等学校、科研单位图书馆工作人员为学员，学制两年，教材全部采用武汉大学图书馆学系函授教材。1983年北京大学图书馆学系在青岛市图书馆设函授站。1985年市图书馆承办中央广播电视大学图书馆学专业青岛工作站。在培养大专专业人才的同时，坚持培训中级专业人才。三年中，青岛市专业图书馆工作人员均接受过不同的专业业务培训。1985年2月，青岛市图书馆发起建成青岛市图书馆学会，是山东省图书馆学会、青岛市社联、青岛市科协下属团体会员，创办有《图书馆工作》(油印)季刊，发表论文、交流经验。每年参加省图书馆学会、市社会科学成果、市自然科学成果评奖。四年间，获省三等奖1次，市二等奖1次，市三等奖6次。1985年市图书馆再次进行了剔旧，剔除破损、陈旧、过时图书5万余册，尚有图书85万余册，订购和交换期刊二千余种，共有正式工作人员70人，设办公室、采编部、借阅部、书目参考部、科技服务部和研究辅导部等五部一室。对外开放部门有:社会科学外借处(附书库)、自然科学外借处(附书库)、社会科学阅览室(附书库)、自然科学阅览室(附书库)、报纸杂志阅览室(附报刊库)、外文借阅室(附书库)、社会科学参考室(附古籍、内部书刊、地方文献库)、自然科学参考室(附科技工具书刊)、图书馆专业书刊阅览室(待建)，共有持证读者一万人。
在为生产科研服务中，先后在青岛、烟台两地举办国际服装、装饰、鞋帽图书期刊资料展览，同时放映录相，吸引两地大批科技、设计人员，如青岛刺绣厂、服装研究所等各派二十多人次长时期参观、仿形。与平度、莱西等图书馆联合在县城举办农业科技书刊资料展览，展出先进农业图书、图片、资料，油印最新信息散发。青岛地方文献工作，除保护原有文献外，新购图书中符合地方文献范围的由采编部做根查，直接分配地方文献书库。发函与派人全面在市属各单位征集地方文献。1986年，中共青岛市委宣传部下发文件至市直各单位，我市正式或非正式出版的报纸、杂志、图书、资料均上交市图书馆一份，确需收费的售予市图书馆一份。利用市图书馆地方文献，青岛出版社出版了《青岛诗词选》、《青岛游记选》、《青岛史话》等图书。1986年从订阅的国内及港澳台报刊中选取有关青岛的报导，出刊《各地报刊上的青岛》，每期分送市委、市府主要领导，曾受主要领导口头表扬。1986年我国恢复专业职称评定，市图书馆设初级图书资料职称评定委员会及办公室，负责本馆及我市初级职称评定、任定。市文化局设中级职称评定委员会及办公室。市图书馆评定、聘用高级研究馆员1人，副高级研究馆员2人，馆员10人，其比例在副省级城市中占第一位。青岛市图书馆自1957年迁回鱼山路37号后，因部分馆舍做为市博物馆，只有1，200平方米，后建临时房舍及利用大厅共1，500平方米，而人员、藏书倍增，馆舍早已不能适应，许多工作无法开展。市领导几次选择新建馆舍地址，最后确定在山东路延吉路征地22亩新建馆舍。1984年规划设计部门设计出馆舍图纸，1985年全国图书馆建筑会议在青岛召开，认为现代图书馆应同层、大开间、多功能，于是重新设计，总建筑面积一期8，700平方米，总投资780万元，占地22亩，予留二期工程用地10亩。1986年12月，青岛市图书馆新馆奠基，市委书记刘鹏等参加。1991年11月11日，新馆一期工程峻工对外开放，设社会科学报刊阅览室、图书阅览室、文献检索室，自然科学报刊阅览室、图书阅览室、文献检索室，外文室。共有读者座位400个，个人外借处一个，读者15，000人，另有流动图书车。
1993年图书馆为进一步收集地方文献，更好地为青岛建设服务，安排专人在全市各行业收集地方文献。令人高兴和鼓舞的是许多人，包括作家、学者给予积极的支持。著名诗人纪宇的每一种诗集都主动送给市图书馆，他慷慨地说:”我只剩一本也给你们!”著名散文诗作家耿林莽找齐了他已出版的作品送到图书馆，作家梁修的长篇小说《夜潮》自己已无收藏，把赠送他人的一本要回来，交由市图书馆收藏。姜宝星先生也在病中将他印数不多的《姜宝星画集》托人辗转捐到市图书馆。不少学者、教授们称市图书馆做了一件”功在当今，利在后世”的大好事。地方文献收集工作得到社会各界的支持，使其发展为一定规模，发挥了她极大的作用。我市各行业史志编篡者有不少人来馆利用这些地方文献，近几年又完成了《商业志》、《旅游志》、《社文志》、《民政志》等志书出版工作。
l995年市图书馆举办了”青岛地方文献展”，引起社会很大反响。至此，市政府史志办开始将他们收藏的各地方志和我市63种方志送到图书馆，进一步充实了地方文献，深受广大读者欢迎。
在为本市广大读者服务的同时，进一步加强与单列市馆和对外交流。多年来15个副省级图书馆互通信息，交流学习，汲取各馆长处，发展自我。1995年始全国政协委员、香港爱国人士石景宜先后两次为我馆捐书达8，000余册。日本民间组织花甲协会先后为我馆赠书八次，达2，398册，内容包括政治、经济、历史、文化等。2000年青岛市图书馆领导做为我市教育考察团成员去日本考察学习，参观了考古博物馆、彦岛图书馆、下关市立大学、商业学校、图书馆以及市民会馆等多所单位，带回了先进的工作经验和方法。
图书馆在做好馆内读者服务的同时，对外开展了科技项目跟踪服务，为科研工作提供前期劳动。为偏远地区送书和为部队送书也是图书馆力争做好的一项工作。十多年来，充分发挥图书流动车的作用，拓展服务领域，缓解馆舍拥挤的矛盾，他们坚持以书为桥，服务社会的宗旨，在全市建立了33个固定服务点，包括政府机关、企事业单位、社会福利院、劳教所、干休所等单位，至今行程6万多公里，送书达50万余册。
1994年市图书馆和流动汽车图书馆被评为全国文明图书馆。1997年12月，中共青岛市委、市政府决定在原址扩建、改造青岛市图书馆，先后投资8000万元。
1999年图书馆深入挖掘馆藏，在揭露日本侵华史的研究中，整理出一批重要文献资料。这些文献主要来自日本侵华时在青岛的机构兴亚院、山东产业馆和满铁收藏的资料。这些文献多是日本人撰写，记录了日本占领青岛，攻打青岛的战略计划，以及对华经济、文化侵略等事实。在研究过程中，图书馆参加了国家”十五”规划”哲学、社会科学重大课题研究”，即”满铁资料”的研究工作。在纪念抗日战争胜利55周年时，图书馆举办了新发现史料展览，展出了日本一战、二战时侵略青岛的进攻计划图，政治、经济、文化侵略计划等一系列的珍贵史料，中央电视台、新华网、齐鲁电视台、青岛电视台及今晚报等多家媒体给予报道。市有关领导、民主党派及中小学生和市民5万多人观看了展览，参观者纷纷留下观感”不忘国耻，振兴中华”等强烈誓言，使我们图书馆工作者深深感到，图书馆是文化教育的重要阵地，我们有义务有责任做好图书馆工作。
2002年7月6日扩建部分对外开放。扩建改造后，图书馆总建筑面积近2.6万平方米，高7层，正面外型以巨大的框架意喻知识之门，是青岛市标志性文化建筑之一。新馆设30个厅、室及活动区域，其中，新增报告厅、展厅、音乐资料馆、电子阅览室、地方文献阅览室、史志阅览室、古籍阅览室、残疾人阅览室、少儿借阅室、自学阅览室、读者餐厅等，阅览座位达1500余个，可实现知识传播、信息传递、学术交流、文化展示、休闲娱乐、教育培训等功能。
2002年全国文化信息资源共享工程启动，在市委、市政府积极的文化政策指导下，青岛市、区两级财政用五年的时间，累计投资近亿元，建设市级中心1处，区、市分中心12处，乡镇（街道）基层服务点136处，村（社区）基层服务点2558处。在推进共享工程过程中，青岛市注重服务载体的多元化。不仅通过互联网、卫星传输、光盘、移动硬盘等方式，把共享工程的信息资源送到各基层点，而且结合基层服务与管理的需要，不断探索创新，自主研发出“文化共享机”，形成具有地域特色的服务与管理模式，使青岛文化信息资源共享工程的信息资源最大限度地服务于普通百姓。
2007年，国务院办公厅下发《关于进一步加强古籍保护工作的意见》文件后，青岛市图书馆进一步加强内部机制建设和社会环境营造，积极引进专业人才，探索改善古籍保护的途径与方法，在全国首创“古籍保护寄存模式”，得到文化部“全国古籍保护试点工作督导组”专家的肯定。
为表彰青岛市图书馆做出突出的成绩，2004年被文化部授予国家一级图书馆，2007年被授予全国第十四届群星奖服务奖、全国古籍保护试点单位、青岛市精神文明建设标兵单位、青岛市军民共建标兵单位、青岛市双拥工作先进单位、青岛市先进基层党组织、青岛市“迎奥运”文明示范服务窗口。
截止2008年底，图书馆现藏书176万册。其中古籍15万余册；中文普通图书117万册；报纸期刊25万册；民国出版物3万余册；地方文献2万册；外文文献14万册，其中日、德占时期文献资料3万余册。编制115人，实有工作人员104名，其中，管理人员14人、专业技术人员85人、工勤人员5人；专业技术人员中有研究馆员4人、副研究馆员9人、馆员35人、助理馆员36人、管理员1人；设11个部门：办公室、采编部、外借部、报刊部、阅览部、外文部、特藏部、数字资源部、网络技术部、社会工作部、后勤服务中心。
1899年，青岛市建立了中国第一座现代公共图书馆，1924年正式成立市级公共图书馆，已历时一个多世纪，在中华人民共和国成立以后，成为为广大人民、社会主义建设服务的新型图书馆。新时期以来，在党中央方针指引下，市委、市政府领导下，青岛市图书馆发生了巨大变化，在为社会主义经济建设、精神文明建设中做出了重要贡献。
