（原文發表於 2017/8/25）
前一篇討論 uncertainty，講到在決策分析的世界裡，總是有很多不確定性。在這裡要再強調，這裡所謂的不確定性，是這個分析的本質，是這種分析因為證據上有限、在對未來的預測上有未知變數等困難而一定會有的。不過這種不確定性在經濟分析、在決策分析上，是可以利用敏感度分析去概括描述出來的。即使是這樣的本質，決策分析的這個學門，與其他科學一樣，一路從建立模型、尋找參數、進行分析、敏感度分析的過程，都應該努力追求的嚴謹、負責、邏輯、可驗證的種種態度。
而這種態度，才能值得信賴；有了可信賴的分析數字，也才能真正支持決策的過程。
前一篇末了其實很快的講過，研究者該做到自己該做的事。只是這段期間我自己又有了一些有趣的經驗：先分享一個，我參與了一個模型建構的專家會議，身在其中討論，各種領域的專家對自己專長的數字斤斤計較，模型建構者也再三用心確認自己的東西，討論的非常痛快。會議接近終了時，有位專家問模型建構團隊，「你這個研究是可以被驗證的嗎？大家怎麼知道你的研究是好的？」
讀者你認為呢？如果你知道了決策分析的過程與特性，你怎樣確認這個研究是好的還是不好的？
（每次講到這裡，我都會想到念碩班的時候，當時每個星期的 seminar 都要念兩篇同學們報告的流行病學研究，老師給我們幾個格式，要我們自行判斷所評析的研究，是屬於描述性流行病學、分析性流行病學等等，然後填表格上的問題。包括這篇研究的目的是什麼? 它用的方法是不是能回答研究問題。這樣一年下來，看 paper 的功力果然大增，能馬上抓到重點、評析優劣。）
針對「如何確認決策分析或成本效果分析研究的品質」這個問題，當然這個學門裡有很多的討論，實務上來說就是有很多的指引與檢核表可供使用。我的課堂裡有一堂課光介紹不同用途的指引，就需要一小時。我如果在這裡碎念這種細節，就沒人來修我的課了。。。不是啦，就失焦了。在這裡我想把一些重點精神跟大家提一下。
要評核成本效果分析，可以用一個非常基本的、Professor Drummond的檢核表，歷久而不衰，就是經典。用久了內化於心，你就是評核這種研究的專家。 (https://www.nlm.nih.gov/nichsr/edu/healthecon/drummond_list.html)
而我們如果特別要注重以模型推估進行成本效果分析的研究，也有相關的指引、及 good practice。Professor Drummond 的 blue book 第四版裡，有個「checklist for assessing quality in decision-analytic models」，很詳盡，學習決策分析模型的人應該要熟讀。這裡就簡單講一下重點。
- 模型架構 (structure)：有沒有說明清楚決策問題？模型架構與這個研究的目標應該定義清楚；架構是否有生物醫學或醫療體系的基礎?等等
- 資料 (data)：模型裡面使用的數字是怎麼來的？用什麼數學函數或方式建構的? 流行病學資料有沒有使用目標族群的數字、不確定性有沒有描述等等。
- 一致性 (consistency)：模型跑出來的數字有沒有 internal consistency（數字合理性）及 external consistency （有沒有直覺上不合理的地方？這些直覺不合理之處有沒有找到解釋？能不能跟其他的研究之結果相呼應）。
模型架構我們通常可以參考以往的文獻、或請臨床專家幫忙。舉一個以 C 肝口服新藥的相關政策的例子來說，我們碰到過許多模型。有些模型認為肝纖維化 F4 的病人如果病毒清除，其進展到肝硬化的機率就回復到跟平常健康人一樣。有次討論中，在場的院士專家們就指出這部份的架構是不太合理的，病人因為肝纖維化嚴重到一定程度，一旦病毒清除，雖然可以延緩發展成肝硬化的時間，但不會是跟健康人一樣了。當時還沒有很確切的這部份的臨床或流行病學資料，所以以模型建構者來講，並沒有做錯，但專家們由當時跑出的不太合直覺的分析結果，加上模型專家的剖析可能關鍵點出在哪裡之後，臨床專家可以幫助建構者確認是否已反映出合理的疾病進程。
有經驗的專家，可以藉由讀過的許多研究，對成本效果研究結果的數字會有感覺。像是 lifetime cost 是否合理? Expected life years gained 是否合理? 等來研判研究報告的品質。我曾經看過一份報告的 QALY gained 是十幾年，姑不論是什麼疾病，基本上都是離譜的數字。這篇研究不管花多少時間做，都是廢物。
我在指導學生做研究的時候，還會特別指出，這類研究因為其目標是支持政策，加上初期能有能力評核的人不多，其實英美有一些資料庫（如https://www.crd.york.ac.uk/CRDWeb/Homepage.asp ），將合於其收錄條件的文章收起來，並有專人寫各項目的評核並公諸於世。所以我非常愛惜我的名聲，絕不馬虎亂寫亂做。
這裡有兩篇我以前參與或撰寫的 paper 受到 CRD EED 的評核:
- Cost-effectiveness analysis of human papillomavirus DNA testing and Pap smear for cervical cancer screening in a publicly financed health-care system. Chow IH, Tang CH, You SL, Liao CH, Chu TY, Chen CJ, Chen CA, Pwu RF. https://www.crd.york.ac.uk/CRDWeb/ShowRecord.asp?AccessionNumber=22011000062&UserID=0
- Cost-effectiveness analysis of interferon-alpha therapy in the treatment of chronic hepatitis B in Taiwan. Pwu R F, Chan K A. http://www.crd.york.ac.uk/CRDWeb/ShowRecord.asp?AccessionNumber=22003000317&UserID=0
以上介紹的檢核表及指引，是指用來評核別人做的決策分析模型/成本效果分析研究的，當然也可以用來提醒自己做研究時有沒有完備的好工具。不時提醒自己有沒有用對工具回答對問題，參數及結果是否合理，是否做到足夠的敏感度分析，是確保嚴謹研究的第一步。
在 HTA 的世界裡，還有一類重要的檢核表或指引，是廠商送件用及相對的 HTA 機構的研究員所使用的。不管用途在哪裡，其核心原則當然還是要有 scientific rigor，所以第一步還是要先確認做到科學部份的優，再來做到送件單位的文件需求。HTA 的審查員為了能做好公正第三者的任務，理所當然的是要先能有優秀的決策分析研究及評核能力，才能看到廠商送件文件能有好的判斷與評核，甚而在送件者缺乏相關能力時，能提出可以修正相關分析的建議或自行分析，以提供決策者合適的資訊以作當下的決策。特別提出這點的原因是，尤其是新藥或新科技進入保險或政策決策過程中的這種時候，也常是病人或家庭的殷殷期盼時。如果是療效確認不夠好或是還沒足夠證據說好，也許還可說沒有關係再等證據。但如果是經濟模型做的不夠好、分析的不合理（不是證據的不確定性過高），這不是支持系統如 HTA角色的人可以自免於外的理由。
總之，我希望今天這篇碎碎念可以帶給大家一些觀念：決策分析模型及其應用在經濟分析上，雖有其預測未來會有不確定性的先天特性，不該視其為應該要求非常精確的科學，但這學門發展至今，有其一定的品質保證過程。這種品質保證過程是已提出了一些時間也算成熟了。概念也不會很難，目前國內也有不少的領域有做過類似高品質的研究。希望大家不論是未來想學這門學問，或是利用相關數字的決策者，都可以要求品質，讓這門學問發揮更大的效用。