由重慶北路一段向北行，右邊不遠處有一棟十層樓的林氏實業大樓，一至七樓開設中原大飯店，八、九樓為林氏宗親會、世界總會、臺灣省和臺北市會所亦都設在此地。十樓即為全國林姓宗廟所在，廟宇地坪離地二十九點二公尺，屋檐更高達四十一點七公尺，可算是國內蓋得最高的一座祠堂。
林姓宗廟主祀開林太始祖殷太師比幹公。林氏姓源，出自子姓。該宗廟中庭有一幅大壁畫，畫上標有“林姓譜牒”稱：“吾族，西河林氏太始祖殷太師比幹公，出自黃帝之後，為契‘唐虞舜司徒’後，子姓。商湯王十五世孫太丁子，帝乙弟，受辛縐王叔父，以縐太無道，虐民甚，且失天下，疆諫勸易行，不聽，反殺之，剖其心而視之。孔子曰：‘殷有三仁焉，比幹諫而死’。周武王克商，封公之墓。初妃夫人陳氏，有孕避難於長林石室，生男名泉，因賜姓林，賜爵周博陵公，為肇林始祖林堅公焉。吾族河西郡，在河南省有銅盤銘曰：‘左林右泉，茲焉是寶’。”
林氏最大的一次遷徙，發生在東漢末年董卓之亂時，宗族七百四十四人同時流離失所，晉明帝太寧三年（325年），林祿為晉安（在今福建省）太守，始居侯官都西裏，封晉安郡王，卒葬惠安涂嶺九龍崗，是為開粵林氏始祖。十傳至林茂，隋朝初年由晉江遷居莆田，為闕下、九牧始祖。九牧中排行第六林蘊之六世孫女林默娘，二十九歲道成升登仙籍，即臺灣民國所崇祀之天上聖母“媽祖”。
全國林姓宗廟有前後二殿，前殿奉祀的屬民間信仰之諸神明塑像，天上聖母林默祖姑即在其中，籍以糾合林氏之信徒；後殿奉祀開林太始祖殷太師比幹公，開林始祖周傳陵林堅公，開林始祖晉安郡王林祿公，以及歷代列宗之神位，供林氏後裔朝夕瞻仰。
該宗廟當初創建時不在現址。道光十一年（1831年），福建、廣東世系之在臺文武官員，與渡臺林氏先賢，為紀念比幹公一脈相傳歷代列祖列宗之遺緒，共同集資捐建於臺北舊城內文武街南畔——位於今天總統府南側，族人春祭冬嘗祀典，年年行之弗替，管理則交由林本源家林時甫承辦。斯時這座祠堂，名稱“林姓祖廟”，佔地一千六百餘坪，廟貌堂皇，殿宇華麗，堪為全臺各姓祠堂中之冠冕。
光緒二十七年（1901年），日據時代的臺灣首任總督，以籌建總督府衛舍必須貫通馬路為由，林姓祖廟被迫遷移，幾經交涉結果，更移到林本源家在大稻埕建成街的一塊土地上，當時地名下奎府町，即今全國林姓宗廟之位置，終於建立了“全臺林姓祖廟”。
全臺林姓祖廟最珍貴的，是廟堂懸挂嘉祐六年（1061年），宋仁宗御賜“忠孝”鈴以禦寶，雕塑匾額“忠孝家風”一方，赫然昭示于正廳之前。此一陳設是其來有自的，蓋因宋仁宗時，御史大夫林悅呈閱祖譜，皇上以林家世代忠孝，御書“忠孝”二字于譜首，族人遂以“忠孝”為堂號。
原來全臺林姓祖廟，佔地僅三百五十余坪，建地則更局限在二百三十坪，尚包括中廳在內。祖廟外觀呈四合院，正殿主祀開林太始祖比幹公暨太始祖妣陳氏祖媽，併合祀開林始祖考林堅公暨開林始祖妣爵公夫人姜氏、陳氏祖媽，配祀開閩肇基始祖考林祿公暨開閩肇基始祖妣孔氏夫人，及追遠歷代祖考妣一本祖宗神位興開臺先賢，在臺同譜進主之歷代列宗之神位，分祀在東西廊。
舊有建築除房樑、門窗為木質，屋頂係瓦片外，其餘部分多屬石材。地面為長方形石板，支柱為整條圓長型石柱，並刻有詩句對聯，外壁為巨石雕刻龍、虎、花樹等搭砌而成，門前並有石獅子一對。進口處中有巨大木門，上發手繪門神像，前堂左右各有一間廂房，堂內有四根圓石柱，橫樑高懸匾額四方“長山世譜”、“世德相承”、“九牧分支”、“源遠流長”，均係水泥精雕製成，可惜這些原有之古文物，如今都被堆放在庫房中，殊為憾事！
舊有的全臺林姓祖廟，經過了五、六十年的風吹雨打，再加上年久失修，這座古廟內外幾已朽壞殆盡，昔日雄偉華麗之氣勢，早已消逝無蹤，甚且被政府列為危險房屋。更重要的是，族人不蔽風雨祭祀自是諸多不便，因此先於五十一年，將全臺林姓祖廟管理委員會改組為財團法人全臺林姓祖廟；五十八年又擴大組織為全國林姓宗廟，並設立林姓實業股份有限公司，興建林氏實業大樓，而以八、九樓，及十樓之林姓宗廟分屬於財團法人。自六十五年興工，六十七年完成一至九樓，翌年十月，煥然一新的林姓宗廟全部竣工。至七十年十月八日，始正式舉行落成大典，邀請全球宗親團體代表參加，並藉以成立世界林氏宗親總會，從此奠定國內外林氏歷代祖先之基業。不過，重建落成的“全國林氏祖廟”，全新的鋼筋水泥倣古建築，過多的現代化裝飾擺設，再加上樓中樓式建築，樓柱少、楹聯更少，使得素享盛名的“全臺林姓祖廟”古風舊貌蕩然無存，若從保存古跡的眼光來看，相當不值得！
臺灣俗謂“陳林李許蔡，天下佔一半”，語雖稍嫌誇張，但陳林人口比率較一般姓氏高出甚多，倒是不爭的事實。六十七年的戶口資料顯示，臺灣區林姓已經超過一百三十八萬餘人，佔同一時間總人口數的百分之八以上，僅次陳姓，為本省第二大姓。
遍及國內外各個角落的林姓宗親，每年都會推派代表參與全國林姓宗廟的春秋二祭，以及農曆春節祭祖團拜之活動。春祭于農曆四月四日，秋祭則在國歷十月八日舉行，這兩天林家子弟多半會放下工作，從各地涌向林姓宗廟，習以為常地參拜祖先，飲福聯歡，以發揚中國人慎終追遠、報本溯源之至意。