決策樹法分為那幾個步驟
1、特征選擇
特征選擇決定了使用哪些特征來做判斷。在訓練數據集中，每個樣本的屬性可能有很多個，不同屬性的作用有大有小。因而特征選擇的作用就是篩選出跟分類結果相關性較高的特征，也就是分類能力較強的特征。在特征選擇中通常使用的準則是：信息增益。
2、決策樹生成
選擇好特征后，就從根節點觸發，對節點計算所有特征的信息增益，選擇信息增益最大的特征作為節點特征，根據該特征的不同取值建立子節點；對每個子節點使用相同的方式生成新的子節點，直到信息增益很小或者沒有特征可以選擇為止。
3、決策樹剪枝
剪枝的主要目的是對抗「過擬合」，通過主動去掉部分分支來降低過擬合的風險。
【簡介】
決策樹是一種解決分類問題的算法，決策樹算法采用樹形結構，使用層層推理來實現最終的分類。
決策樹法的步驟
決策樹法的幾個關鍵步驟是：
1、畫出決策樹，畫決策樹的過程也就是對未來可能發生的各種事件進行周密思考、預測的過程，把這些情況用樹狀圖表示出來．先畫決策點，再找方案分枝和方案點．最后再畫出概率分枝。
2、由專家估計法或用試驗數據推算出概率值．并把概率寫在概率分枝的位置上。
3、計算益損期望值，從樹梢開始，由右向左的順序進行．用期望值法計算．若決策目標是盈利時，比較各分枝，取期望值最大的分枝，其他分枝進行修剪。
擴展資料
決策樹的優點
1、決策樹易于理解和實現. 人們在通過解釋后都有能力去理解決策樹所表達的意義。
2、對于決策樹，數據的準備往往是簡單或者是不必要的 . 其他的技術往往要求先把數據一般化，比如去掉多余的或者空白的屬性。
3、能夠同時處理數據型和常規型屬性。其他的技術往往要求數據屬性的單一。
4、 在相對短的時間內能夠對大型數據源做出可行且效果良好的結果。
5、對缺失值不敏感
6、可以處理不相關特征數據
7、效率高，決策樹只需要一次構建，反復使用，每一次預測的最大計算次數不超過決策樹的深度。
決策樹的缺點
1、對連續性的字段比較難預測。
2、對有時間順序的數據，需要很多預處理的工作。
3、當類別太多時，錯誤可能就會增加的比較快。
4、一般的算法分類的時候，只是根據一個字段來分類。
5、在處理特征關聯性比較強的數據時表現得不是太好
決策樹法優點
決策樹法優點：決策樹列出了決策問題的全部可行方案和可能出現的各種自然狀態，以及各可行方法在各種不同狀態下的期望值。能直觀地顯示整個決策問題在時間和決策順序上不同階段的決策過程。在應用于復雜的多階段決策時，階段明顯，層次清楚，便于決策機構集體研究，可以周密地思考各種因素，有利于作出正確的決策。決策樹法缺點：使用范圍有限，無法適用于一些不能用數量表示的決策；對各種方案的出現概率的確定有時主觀性較大，可能導致決策失誤；
決策樹優缺點
優點:
(1)速度快: 計算量相對較小, 且容易轉化成分類規則. 只要沿著樹根向下一直走到葉, 沿途的分裂條件就能夠唯一確定一條分類的謂詞.
(2)準確性高: 挖掘出來的分類規則準確性高, 便于理解, 決策樹可以清晰的顯示哪些字段比較重要, 即可以生成可以理解的規則.
(3)可以處理連續和種類字段
(4)不需要任何領域知識和參數假設
(5)適合高維數據
缺點:
(1)對于各類別樣本數量不一致的數據, 信息增益偏向于那些更多數值的特征
(2)容易過擬合
(3)忽略屬性之間的相關性
決策樹法屬于什么決策方法
決策樹法屬于風險型決策方法。
決策樹法就是把決策過程用樹狀圖來表示。樹狀圖一般是由決策點、方案分枝、自然狀態點、概率分枝和結果點幾個關鍵部分構成。樹狀圖表現了兩種不同的決策環節，一種是主觀抉擇環節，另一種是客觀抉擇環節。決策樹法適用于風險型決策。
決策樹分析法是指分析每個決策或事件（即自然狀態）時，都引出兩個或多個事件和不同的結果，并把這種決策或事件的分支畫成圖形，這種圖形很像一棵樹的枝干，故稱決策樹分析法。
決策樹法的幾個關鍵步驟是：
（1）畫出決策樹，畫決策樹的過程也就是對未來可能發生的各種事件進行周密思考、預測的過程，把這些情況用樹狀圖表示出來。先畫決策點，再找方案分枝和方案點。最后再畫出概率分枝。
（2）由專家估計法或用試驗數據推算出概率值。并把概率寫在概率分枝的位置上。
（3）計算益損期望值，從樹梢開始，由右向左的順序進行。用期望值法計算。若決策目標是盈利時，比較各分枝，取期望值最大的分枝，其他分枝進行修剪。
決策樹法的優缺點
決策樹法是管理人員和決策分析人員經常采用的一種行之有效的決策工具。它具有下列優點：
1.決策樹列出了決策問題的全部可行方案和可能出現的各種自然狀態，以及各可行方法在各種不同狀態下的期望值。
2.能直觀地顯示整個決策問題在時間和決策順序上不同階段的決策過程。
3.在應用于復雜的多階段決策時，階段明顯，層次清楚，便于決策機構集體研究，可以周密地思考各種因素，有利于作出正確的決策。
當然，決策樹法也不是十全十美的，它也有缺點，如使用范圍有限，無法適用于一些不能用數量表示的決策；對各種方案的出現概率的確定有時主觀性較大，可能導致決策失誤；等等。
決策樹法(一)
姓名：王映中 學號：20181214025 學院：廣研院
轉自 https://blog.csdn.net/weixin_42327752/article/details/117806076
【嵌牛導讀】決策樹（decision tree）是一種基本的分類與回歸方法。決策樹學習通常包括3個步驟：特征選擇、決策樹的生成和決策樹的修剪。些決策樹學習的思想主要來源于由Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法，以及由Breiman等人在1984年提出的CART算法。
【嵌牛鼻子】決策樹模型與學習
【嵌牛提問】如何建立決策樹模型?
【嵌牛正文】
1 決策樹模型與學習
決策樹解決分類問題的一般方法
1.1 決策樹模型
定義：分類決策樹模型是一種描述對實例進行分類的樹形結構。決策樹由結點（node）和有向邊（directed edge）組成。結點有兩種類型：內部結點（internal node）和葉結點（leaf node）。內部結點表示一個特征或屬性，葉結點表示一個類。
1.2 決策樹與if-then規則
可以將決策樹看成一個if-then規則的集合。將決策樹轉換成if-then規則的過程是這樣的：由決策樹的根結點到葉結點的每一條路徑構建一條規則；路徑上內部結點的特征對應著規則的條件，而葉結點的類對應著規則的結論。
決策樹的路徑或其對應的if-then規則集合具有一個重要的性質：互斥并且完備。這就是說，每一個實例都被一條路徑或一條規則所覆蓋，而且只被一條路徑或一條規則所覆蓋。這里所謂覆蓋是指實例的特征與路徑上的特征一致或實例滿足規則的條件。
1.3 決策樹與條件概率分布
1.4 決策樹學習
決策樹學習本質上是從訓練數據集中歸納出一組分類規則，與訓練數據集不相矛盾的決策樹（即能對訓練數據進行正確分類的決策樹）可能有多個，也可能一個也沒有。從另一個角度看，決策樹學習是由訓練數據集估計條件概率模型。基于特征空間劃分的類的條件概率模型有無窮多個。我們選擇的條件概率模型應該不僅對訓練數據有很好的擬合，而且對未知數據有很好的預測。
決策樹的損失函數是正則化的極大似然函數。當損失函數確定以后，學習問題就變為在損失函數意義下選擇最優決策樹的問題。因為從所有可能的決策樹中選取最優決策樹是NP完全問題，所以現實中決策樹學習算法通常采用啟發式方法，近似求解這一最優化問題。這樣得到的決策樹是次最優（sub-optimal）的。
決策樹學習的算法通常是一個遞歸地選擇最優特征，并根據該特征對訓練數據進行分割，使得對各個子數據集有一個最好的分類的過程。這一過程對應著對特征空間的劃分，也對應著決策樹的構建。開始，構建根結點，將所有訓練數據都放在根結點。選擇一個最優特征，按照這一特征將訓練數據集分割成子集，使得各個子集有一個在當前條件下最好的分類。如果這些子集已經能夠被基本正確分類，那么構建葉結點，并將這些子集分到所對應的葉結點中去；如果還有子集不能被基本正確分類，那么就對這些子集選擇新的最優特征，繼續對其進行分割，構建相應的結點。如此遞歸地進行下去，直至所有訓練數據子集被基本正確分類，或者沒有合適的特征為止。最后每個子集都被分到葉結點上，即都有了明確的類。這就生成了一棵決策樹。
以上方法生成的決策樹可能對訓練數據有很好的分類能力，但對未知的測試數據卻未必有很好的分類能力，即可能發生過擬合現象。我們需要對已生成的樹自下而上進行剪枝，將樹變得更簡單，從而使它具有更好的泛化能力。具體地，就是去掉過于細分的葉結點，使其回退到父結點，甚至更高的結點，然后將父結點或更高的結點改為新的葉結點。
決策樹學習算法包含特征選擇、決策樹的生成與決策樹的剪枝過程。決策樹學習算法包含特征選擇、決策樹的生成與決策樹的剪枝過程。
決策樹學習常用的算法有ID3、C4.5與CART，下面結合這些算法分別敘述決策樹學習的特征選擇、決策樹的生成和剪枝過程。
