祁門到底是什么時候開始種植茶樹的?其實史書上并沒有確切的記載，但是能找到的最初的記載祁門紅茶有種植茶樹事件的，就是《茶經》。上面記載了祁門紅茶在古時候都很受歡迎，得到愛茶者的喜愛。
茶圣陸羽在《茶經》中記載：“歙州茶，且素質好。”祁門古屬歙州，歙州茶當然含祁門茶。
膾炙人口的《琵琶行》，可謂千古絕唱，江州司馬面對商人怨婦而淚濕青衫，情愫綿延千余年。殊不知那重利輕離的茶商，所追索的茶中就有祁門茶。
祁門原屬歙州和饒州兩地，其東部屬黟縣，西部屬浮梁。浮梁為當時全國最大的茶葉集散地，與祁門一水相依。祁門境內閶江北起黃山西脈的大洪山麓，逶迤南下，出祁門到浮梁和景德鎮，便去掉“門”字，改稱昌江，最后注入鄱陽湖。祁門茶乃至歙州茶葉均由此水道運往浮梁外銷。茶葉順水而去，商人也逆水而來，閶江水滿載茶香，源遠流長。
祁門縣新修閶門溪記縣西南十三里，溪名闖門，有山對聳而近，因以名焉。水自疊嶂積石而下，通于鄱陽，合于大江，其濟人利物不為不至矣。其奔流激注，巨石碑磯，騰沸洶涌，浼嚼圓折，凡六七里。舟航勝載不計輕重，篙工楫師不計勇弱，其或濟者，若星馳矢逝;脫或蹉跌，必溺灣漩中，俄頃滅跡矣。邑之編籍民五千四百余戶，其疆境亦不為小。山多而田少，水清而地沃。山且植茗，高下無遺土，千里之內業于茶者(十)七八矣。
繇是給衣食，供賦役，悉恃此。祁之茗，色黃而香，賈客成議，愈于諸方。每歲二三月，赍銀緡繒素求市將貨他郡者，摩肩接跡而至。雖然，其欲廣市多載，不果遂也。或乘負，或肩荷，或小轍而陸也。如此縱有多市，將泛大川，必先以輕舟寡載，就其巨艟，蓋是閶門之險。
元和初，縣令路曼常患之，聞于太守故光祿大夫范卿，因修作斯處。其后商旅知不旅閶門，果競至，籍戶繇是為之泰。
其求已五十五載矣。元和、成通，伏臘相遠，闖門始廢之時，功未甚至，猶利于人且久。長慶中，縣令王迅曾略見舊址，蓋茶務委州縣，貴踅邀商賈而已。今則潁川陳甘節為祁門令，一年而政成，孜孜求里閭之患，果得閶門溪焉。乃速詣，目擊險狀，吁可畏也!必期改險阻為安流，回激湍為碧澄。乃錄其始制之實，聞于太守清河崔公，自請以俸錢及茶羨利充木石之用，因召土客、商人、船戶接助。夫使成適其愿，無差役之患，無箕斂之弊，公悅而從之。自成通二年(861年)夏六月修，至三年春二月畢。削盤石為柱礎，疊巨木為橫梁，其高一丈六尺，長十四丈，闊二十尺。堰之左，俯崇山作派為深渠，導溢流回注于干溪，既高且廣，與往制不相侔矣。整石疊木，溯流安逝，一帶傍去，滔滔無滯，馴鷗戲魚，隨波沉浮。不獨以賈客巨艘、居民葉舟往復無阻，自春徂秋，亦足以勸六鄉之人業于茗者，專勤是謀，衣食之源，不慮不憂。夫如是有以見清河公求理誠至，茍非良邑長不可以佐理;潁川君臨事心專，茍非賢太守不可立事。其作用堅固永久，與山川齊。途寓于郡下，嘗游茲邑，頗熟本末，因得以記。成通三年秋七月十八日(862年8月17日)，歙州司馬張途述。
這份中國茶葉發展史上不可多得的文獻，因歷朝來僅見載于當地史籍，從未向祁門以外的社會刊行，故未被茶史學家所發現，致使許多茶書從無記載。今日研讀，尤為可貴，堪稱是冠今絕古的佳作。
唐時祁門所產之茶為方茶，唐大中十年(856q三)楊華在《膳夫經手錄》中所作的評價是“祁門方茶制置精好”。新編的《祁門縣志》說方茶就是餅茶，“制作工序是：將生葉經蒸氣殺青后烘干搗碎，碾成細末，再蒸軟，做成長條狀或圓餅狀，中間留一孔，穿串起來烘干即成餅茶”。
宋元時期，祁門茶事不甚明了，但產茶事實毋庸置疑。仙芝、玉津、先春、綠芽等就是當時徽州的茶葉。祁門時屬徽州，當然不會例外。
明時流行散茶，祁門稱為軟枝茶，明永樂《祁閶志》中就有記載。軟枝茶分芽茶和葉茶兩種，其中芽茶屬于上品，葉茶次之。
清代祁門流行綠茶和安茶，綠茶則是屯綠，其中以鳧峰綠茶為代表，因質好香高，被稱為“屯綠之冠”。安茶是介于紅茶和綠茶之間的半發酵緊壓茶，色澤烏黑，湯濃微紅，味香而澀，既可作飲料，又可作藥用。
尤為值得一提的是安茶，從近年于民間搜集到的安茶茶票中得知，這種茶創制于清道光年問，清末民初曾風靡一時，興盛百余年，在廣東和東南亞地區尤其暢銷，被尊為“圣茶”。
歷史上安茶產地分布在祁門四鄉各地，尤以西南鄉為甚。祁紅問世后，受價格因素的影響，安茶產量縮減，產區也相應集中，茶號多分布在閶江南岸的溶口、倒湖一帶，西鄉只是少數，其他地方則無蹤影。
祁門人賣安茶，習慣在茶簍中放上茶票。這些茶票系木刻印刷，雕刻精細，周邊為極具地方色彩的圖案，中間有一段文字。如“舉報單人安徽孫義順茶號，向在六安采辦雨前上等細嫩真春芽蕾，加工揀選，不惜資本。向運佛山鎮北勝街經廣豐行發售。近有無恥之徒，假冒本號字樣甚多，貪圖影射，以假亂真。而茶較我號氣味大不相同。
凡士商賜顧，多辨真偽。本號茶簍內票四張：底票、腰票、報單、面票。上有龍團佳味字印，并秋葉印為記，方是真孫義順安茶，庶不致誤。新安孫義順謹啟。”這些茶票如今成了印證當年安茶的最好實物，殊為珍貴。
安茶從清末起步，到后來逐漸被祁紅所取代，百余年中，起起落落，慘淡經營，一直到1946年最后一批安茶運出，便再也沒有回生。直到20世紀80年代末再重新被人恢復創制，那是后話了。
綠茶和安茶均有外銷出口的跡象，但勢頭并不好。正如著名茶學家陳椽先生所言，“當時綠茶銷路不好，外銷僅占出口量的10%左右。紅茶暢銷，市價高于綠茶，相導仿制，勢所必然，這是推動祁門茶葉生產變革的動力。”
雖然但是狀況并不是很好，但是祁門紅茶就是在這種重重困境之中，得到了重生。在光緒年間，祁門紅茶順運而發展，很寬就扭轉了局面，以至于后來甚至得到了國外很多人的青睞。