발간보고서
home > 자료실> 발간보고서
- 글자크기
제약산업의 임상실험에서 통계 전문가의 역할과 중요성 (1)
| 작성자 | 관리자 | 카테고리 | 전문가 인사이트 |
|---|---|---|---|
| 작성일 | 2016-07-29 | 조회수 | 5,667 |
| 원문 | |||
| 출처 | |||
제약산업의 임상실험에서 통계 전문가의
역할과 중요성 (1)
- 글 최석태(Suktae Choi)
- GPKOL위원
컨설팅 분야
- Clinical Trial: Biostatistics in Clinical Trial, Clinical Development plan, and Study Design for drug approval from
the perspectives of both pharmaceutical industry and HA. - Multiple comparisons: Commonly used in clinical trials including Gatedeepng, Hochberg, Dunnette, etc.
- Adaptive Design: Practical usage of adaptive design
주요 약력
- 2010-현재 Celgene Inc.,Associate Director
- 2007-2010 Eli Lilly and Company, Statistical Group Leader
- 2000-2007 FDA, Center of Drug Evaluation and Research, Mathematical Statistician
- 1998-1999 Organon, Inc., Biostatistician
제약산업에 있어서 가장 많은 인력과 자본과 시간을 필요로 하는 부분은 단연 약의 효과와 안전성을 입증하여 Health Agency로부터 허가를 받기 위한 임상실험 단계인 것은 잘 알려져 있다. 그리고 실제 임상 실험에 있어서 기획단계부터 결론을 내리는 것은 물론 허가를 받는 부분에서도 결정적인 역할을 하는 것 중 가장 중요한 부분이 바로 통계이다. 그러나 그 임상실험 과정에서 통계 전문가의 역할에 대해서는 한국의 제약산업 전반에서 아직도 크게 중요하게 여겨지지 않고 있는 듯 하다. 서류의 빠진 부분을 채우거나 샘플 사이즈를 계산하고 프로그램을 돌려서 실험결과를 계산해 주는 역할 정도로만 여겨지고 있는 듯 하다. 마케팅이나Drug Life cycle 전반의 전략은 고사하고 임상실험 계획단계에서조차 통계 전문가들의 의견들이 무시되거나 아예 포함시키지도 않아서, 후에 임상실험에서 많은 시간과 경비를 소비하고도 결과를 제대로 인정받지 못하는 경우도 많아 보인다. 실제로 이미 잘못된 디자인으로 임상실험을 마친 후 Health Agency나 Publisher의 통계 전문가에게 문제점을 지적 받고 낭패를 본 안타까운 경우를 본 적이 몇 번 있다. 이미 문제가 터진 후에는 아무리 세계적인 통계학자에게 수술을 부탁한다 해도 임상실험을 다시하는 것 외에는 해결할 방법이 없는 경우는 허다하다. 이 글에서는 필자가 미국 FDA와 글로벌 제약회사에서 통계 전문가로 일을 했던 경험을 바탕으로 글로벌 제약산업에서 통계 전문가의 역할과 중요성을 나누고자 한다.
현재 미국 FDA에는 약 300여명의 통계 전문가들(대부분 통계학 박사)이 Statistical Reviewer로 일하고 있으며, 대형 제약회사마다 약 50~100명의 통계학 박사와 100~200명의 통계 programmer 그리고 많은 Data Management전문가들이 일을 하고 있다. 그것도 일손이 부족하여 늘 고질적인 인력난에 시달리고 있고 제약회사들은 상당히 많은 project들을 외주로 주고 있다. 물론 한국에서는 상상도 할 수 없이 많은 수의 전문인력들이다. 그러나 미국도 처음부터 이렇게 많은 통계 전문가들이 제약산업의 핵심역할을 했던 것은 아니다.
미국 FDA에 Charles Anello 라는 Statistician 이 첫 Statistical Reviewer로 일을 시작한 것은 1980년경이다. 당시 Johns Hopkins에 통계연구원으로 있던 그는 FDA로 가기로 결심한다. 그리고 그는 거기서 5명의 통계 전문가를 더 고용한다. 그리고 제약회사의 임상실험 디자인과 결과들을 review 하면서 제약회사는 물론 기존에 있던 reviewer들 조차 알지 못하는 문제점들을 지적하기 시작한다. 그 이후 제약회사들도 이를 대비하기 위해 통계 전문가들을 고용하기 시작한다. FDA의 통계 전문가들은 그들이 생각했던 것보다 훨씬 더 많은 부분에서 통계적으로 잘못된 계획이나 분석들을 발견하게 되고, 더 많은 통계 전문가들을 고용하여 더욱 철저히 review하기 시작한다. 그리고 그에 따라 제약회사도 모든 임상 실험에 충분한 통계적 검토를 하여 실험을 하기 위해 더 많은 통계 전문가들을 고용한다. 그들은 함께 더욱 효과적이고 정교한 통계적 방법들을 연구하여 오늘날 훨씬 정확하고 효과적이며 발달된 통계적 기법들이 임상실험에 소개가 되어 실제 사용되고 있다.
필자가 FDA에서 근무할 당시 Charles Anello의 퇴직 Party에 참석하게 되었다. 그 때 FDA의 Medical Officer로 오래 일했고, CV Division Director였던 Bob Temple이 축하인사를 하면서 이런 말을 했다. “Chuck이 오기 전에는 참 한심했죠. 예를 들어 100명의 Sample Size로 임상실험을 하다가 만약 결과가 통계적 유의를 보이지 못하면 20명쯤 더 뽑아서 실험을 하고, 그 때도 실패하면 30명 쯤 더 뽑고, 그렇게 임상실험을 했습니다. Chuck이 FDA에 와서 이야기해 주기 전까지 우린 그게 무슨 문제가 있는지 전혀 알지 못했었죠.” Bob Temple의 말에 큰 웃음이 터졌다. 통계 전문가들의 입장에서는 정말 말도 안되는 짓을 해 왔던 것이다. 왜냐하면 더 뽑아서 분석을 할 때마다 False Positive Rate, 즉 약효가 전혀 없는 약을 허가할 확률이 계속 올라가기 때문이다. 오늘날에도 이러한 Multiplicity 이슈는 통계적 방법에서 가장 중요한 이슈중 하나이고, 통계 전문가들의 연구로 이것을 조정하는 방법을 개발하여 이제는 False Positive Rate을 높이지 않고도 interim analysis같이 실험 중간에 분석해 보는 방법들도 사용하는 것은 물론이고, 중간에 Sample Size를 다시 계산하는 등 Adaptive Design도 널리 사용되고 있다.
미국 FDA에 Charles Anello 라는 Statistician 이 첫 Statistical Reviewer로 일을 시작한 것은 1980년경이다. 당시 Johns Hopkins에 통계연구원으로 있던 그는 FDA로 가기로 결심한다. 그리고 그는 거기서 5명의 통계 전문가를 더 고용한다. 그리고 제약회사의 임상실험 디자인과 결과들을 review 하면서 제약회사는 물론 기존에 있던 reviewer들 조차 알지 못하는 문제점들을 지적하기 시작한다. 그 이후 제약회사들도 이를 대비하기 위해 통계 전문가들을 고용하기 시작한다. FDA의 통계 전문가들은 그들이 생각했던 것보다 훨씬 더 많은 부분에서 통계적으로 잘못된 계획이나 분석들을 발견하게 되고, 더 많은 통계 전문가들을 고용하여 더욱 철저히 review하기 시작한다. 그리고 그에 따라 제약회사도 모든 임상 실험에 충분한 통계적 검토를 하여 실험을 하기 위해 더 많은 통계 전문가들을 고용한다. 그들은 함께 더욱 효과적이고 정교한 통계적 방법들을 연구하여 오늘날 훨씬 정확하고 효과적이며 발달된 통계적 기법들이 임상실험에 소개가 되어 실제 사용되고 있다.
필자가 FDA에서 근무할 당시 Charles Anello의 퇴직 Party에 참석하게 되었다. 그 때 FDA의 Medical Officer로 오래 일했고, CV Division Director였던 Bob Temple이 축하인사를 하면서 이런 말을 했다. “Chuck이 오기 전에는 참 한심했죠. 예를 들어 100명의 Sample Size로 임상실험을 하다가 만약 결과가 통계적 유의를 보이지 못하면 20명쯤 더 뽑아서 실험을 하고, 그 때도 실패하면 30명 쯤 더 뽑고, 그렇게 임상실험을 했습니다. Chuck이 FDA에 와서 이야기해 주기 전까지 우린 그게 무슨 문제가 있는지 전혀 알지 못했었죠.” Bob Temple의 말에 큰 웃음이 터졌다. 통계 전문가들의 입장에서는 정말 말도 안되는 짓을 해 왔던 것이다. 왜냐하면 더 뽑아서 분석을 할 때마다 False Positive Rate, 즉 약효가 전혀 없는 약을 허가할 확률이 계속 올라가기 때문이다. 오늘날에도 이러한 Multiplicity 이슈는 통계적 방법에서 가장 중요한 이슈중 하나이고, 통계 전문가들의 연구로 이것을 조정하는 방법을 개발하여 이제는 False Positive Rate을 높이지 않고도 interim analysis같이 실험 중간에 분석해 보는 방법들도 사용하는 것은 물론이고, 중간에 Sample Size를 다시 계산하는 등 Adaptive Design도 널리 사용되고 있다.
FDA 에서의 Statistical Reviewer의 위치
FDA는 한국 식약처처럼 우선 의약품(CDER), 바이오(CBER), 의료기기(CDRH), 동물약(CVM) 등으로 나뉘며, 그 안에 여러 개의 Office가 있고, 그 Office들 밑에 Division들이 있는데 이 Division들은 Therapeutical Area 별로 나뉘게 된다. 회사는 IND나 NDA를 Indication에 따라 해당 Division으로 제출하고, Division안에서 각 Function 별로 담당자를 뽑아 한 팀을 이루어 Review를 하게 된다. 하나의 IND나 NDA가 제출되면 대략 아래 그림 1과 같이 팀이 만들어 져서 review를 하게 된다.
그림 1. FDA에서의 IND/NDA Review Team 구성
특별히 Office of Biostatics와 Clinical Pharmacology는 Division과 함께 팀으로 일하면서도 보고 체계가 Division에 속해 있지 않고 따로 있는데, 그 이유는 통계 이슈의 특성상 Division의 입맛대로 끌려다니지 않고, 제대로 된 객관적인 의견을 낼 수 있게 하기 위해서이다. 이 구조는 대부분 대형제약회사에서도 마찬가지이다. 한국의 식약처와 제약회사들에도 제대로 된 전문적 Input을 얻기 위해서는 반드시 따라가야 할 구조로 생각된다. 그리고 그 외에 Division 에 따라 다른 Function 들이 더 포함되기도 한다.
이렇게 많은 Reviewer 들이 충분한 시간을 갖고 review를 하고 많은 의논을 거쳐 임상실험과 그 결과를 심사한다. 이렇게 튼튼한 review process가 철저하고 일관된 심사결과를 제공하여 오늘날 글로벌 제약산업에 대한 신뢰가 만들어졌으며, 글로벌 제약회사들이 적극적인 연구를 하게 하고, 수준 높고 효과적인 임상실험을 할 수 있는 기반이 되었다고 확신한다. 최근들어 한국 정부가 한국의 제약산업 육성에 힘을 기울이는 모습을 보면서 기뻤다. 하지만 한 편으로 말도 안될 만큼 부족한 식약처의 전문인력과 그로 인해 일관되지 못하고 불안정한 심사과정을 보면서, 그리고 고위직의 책임있는 결정자들이 식약처의 전문성과 인력 확보에 대한 시급함을 전혀 느끼지 못하고 있는 것 같아 정말 안타깝다. 한국 제약산업이, 특히 제일 취약한 임상부분이 제대로 성장하려면 제약회사의 엄살을 묻지도 따지지도 않고 응해주는 단순한 지원으로는 절대 불가능하다. 마치 학교에서 학생들에게 수업도 시험도 채점도 엉망으로 하고 무조건 좋은 성적을 주면서 좋은 대학을 가기를 바라는 것과 같다. 전문성의 확보를 위해 특히 식약처의 일관되고 전문적인 심사가 필수적이고, 그것을 위한 인력 확보가 가장 시급한 과제로 보인다.
다시 본론으로 돌아와서, FDA에서는 보통 Early Phase단계에서 일반 제약회사와는 다르게 Statistician들의 역할이 일반 그리 크지 않다. 그러나 Phase 3 의 Design이 시작되면서(보통 End of Phase 2 Meeting부터) Statistical Issu는 가장 중요한 부분을 차지하게 된다. 실제 End of Phase 2 Meeting부터 approval까지 FDA의 대부분의 Review Team Meeting은 Director, Deputy Director, Medical Team Leader, Medical Officer이렇게 4명의 의사들과 두명의 Statistician들의 각축장이 되는 경우가 허다하다.
IND Review에서의 Statistical Reviewer의 역할
임상을 시작하기 위해서 IND를 제출하고 NDA를 제출하기까지 중요한 Milestone들을 보면 아래 그림과 같다.
그림 2. IND Review – Milestones
이 과정들 중에 회사들이 FDA제출한 서류들 중 Statistical Issue 가 있거나 있을 가능성이 있는 것들이 Statistician들에게 배당이 된다. 보통 각 IND number에 같은 Statistical Reviewer들이 배정되고 가능하면 NDA까지 연결하려고 노력한다. Statistical Reviewer들이 받는 서류들은 보통 Clinical Development Plan, Protocols, Statistical Analysis Plan, Special Protocol Assessment Review, Phase I/II study results, 그리고 각 Meeting (Pre-IND, End of Phase I/II, Pre-NDA) 들의 Briefing Book등이 있고, 보통은 한 Statistician 당 일주일에 3개 정도의 Review 할 서류를 받게 된다. 그리고 특별히 Special Protocol Assessment Review를 받으면 그에 대한 Report를 써야 하고, 대부분의 Phase 3 Protocol이나 SAP를 받아도 두세 페이지 정도의 Review Report를 쓴다. 특히 Sponsor (제약회사)의 질문 중, 통계나 Study Design과 연관이 있는 것은 상당히 신중하게 답을 준비한다.
이 모든 것들 중 가장 Statistical Reviewer가 신경을 쓰는 부분은 End of Phase 2 Meeting인데, 보통 두 달에 한 번쯤 준비하고 참석하게 된다. 이 미팅을 위해 Sponsor는 Briefing Book 을 제출하는데, 자세한 Phase 3 study design plan과 그에 관한 질문들이 포함되어 있다. 일단 각 Reviewer들이 document를 받으면, 충분히 review를 한 후 각 Team Leader와 의논하며 답변을 준비한다. 그리고 실제 회사와의 End of Phase 2 Meeting 일주일 전에 FDA의 review team들끼리 한 번의 미팅을 갖는다. 그리고 회사가 제출한 질문들을 중심으로 답변을 다시 의논하고 준비한다. 그리고 남은 일주일 동안 질문들의 답변을 정리해서 서로 고치고 검토한 후에 하루 전쯤 회사에게 보내준다. 그렇게 해서 End of Phase 2 Meeting의 준비가 끝이 난다. 실제로 질문들 중에 통계적 이슈가 있는 질문은 몇 가지 없다. 그러나 막상 End of Phase 2 Meeting이 시작되면 많은 경우 회의의 거의 절반은 통계적 이슈가 차지하게 되고, 그래서 Statistical Reviewer와 회사의 Statistician이 많은 이야기를 하게 된다. 주로 많이 나오는 issue들은, primary, key-secondary efficacy analysis endpoints and analysis methods 뿐 아니라, sensitivity analyses, missing Data handling, multiplicity, non-inferiority margin, sample size calculation and power, definition of ITT, safety data presentation, 등 다양한 주제가 있다.
다음 주제로 넘어가기 전에, FDA의 End of Phase 2 Meeting에 참석하는 회사들을 위해 FDA Reviewer로 일하면서 느꼈던 것을 몇가지 나누고자 한다. 우선 End of Phase 2 Meeting의 준비단계는 Briefing Book을 만들면서 생각해야 할 것은 Reviewer가 Briefing Book을 모두 다 제대로 읽고 이해하고 기억하고 있을 것이라 기대하면 안된다는 것이다. 그러므로 질문을 중심으로 효과적인 Briefing Book을 쓰는 것이 매우 중요하다. 특별히 상황을 설명해야 하는 경우가 아니면 처음에 Background를 너무 길게 쓰는 것보단, 간단히 서론을 쓰고 바로 질문으로 들어가는 게 좋다. 각 질문마다 Clinical, Statistics, Non-Clinical, Clinical-Pharmacology, 등 해당 function을 넣어주면 더 도움이 된다. 그리고 각 질문 뒤에 1페이지 정도의 질문에 대한 설명을 쓰는 것이 좋고, 거기에서 hyperlink로 더 자세한 내용이 있는 곳으로 연결해 주면 Reviewer에게 큰 도움이 된다. 질문 내용을 “Do you agree with the study design?”이런 식으로 너무 일반적으로 물어보면, 답을 주지 않거나 대충만 설명한다. 전반적으로 protocol에 대해 묻고 싶다면 Special Protocol Assessment Review 를 신청하는 것이 좋다. 미팅 하루 전 쯤 FDA가 질문들에 대한 답변을 보내줄 때도 있다. 그러면 답변을 검토한 후, Meeting에서 다룰 질문들을 줄일 수 있다. 그리고 좀 더 설명을 원하는 (clarify) 것을 reviewer가 미리 준비할 수 있도록 당일 아침이라도 보내주면 효과적인 미팅에 상당한 도움이 된다. 그리고 당일, FDA Meeting 회의실에 들어가면, 가운데 큰 회의용 테이블과 의자들이 있고, 나머지 의자들은 뒤쪽에 있다. 보통 FDA 측에서 테이블 앞에있는 의자 중 절반 정도만 앉고, 나머지 reviewer들은 뒤에 있는 의자에 앉아 있다. 그러면 회사 측에서 남은 테이블 의자와 남은 벽쪽 의자에 앉는다. 이 때 이야기를 많이 할 실무진이 앞에 앉는 것이 중요하다. 높은 사람에 대한 예우로 그들이 앞자리를 다 차지해 버리면 말을 많이 하는 사람이 뒤에 앉게 되고 아주 불편한 미팅이 되기 쉽다. 특히 End of Phase 2 Meeting에서 Statistician 은 반드시 Table 앞 의자에 앉을 것을 권한다. 회의가 시작되면 가끔 높은 사람이 나와서 약이 얼마나 좋은지, Phase 2 study 결과가 얼마나 좋은지를 장황하게 설명하는 경우가 있다. 그러면서 reviewer들이 어떻게 생각하는 지를 자꾸 물어본다. 그러면 reviewer들의 답은 항상 같다. “Review Issue”. End of Phase 2 Meeting의 목적은 reviewer들에게 약이 좋다는 것을 알리기 위한 자리가 아니다. 임상실험을 계획하는데 있어서 FDA가 요구하는 것들을 모두 만족하고 있는지를 확인하는 자리다. 그러므로, 처음 소개를 할 때, Phase2 결과가 얼마나 좋은지, FDA reviewer들은 어떻게 생각하는 지 자꾸 물어보면서 시간 낭비할 필요가 없다. 가장 중요한 것은 FDA reviewer들이 회사의 임상계획을 정확히 알고 comment를 주는 건지 확실히 해야하고, 그들이 주는 comment를 우리가 제대로 이해하고 있는지 확실히 하는 것이 중요하다. 필요하다면 Function 별로 Follow up Meeting을 잡아도 된다. 마지막으로, reviewer들의 생각이나 의견이 나중에 바뀔 수 있다는 것을 알아야 한다. 그 이유는 여러가지가 있는데, Division의 Policy가 바뀔 수도 있고, 때로는 단순히 기억하지 못하거나 reviewer의 개인적인 생각이 자신도 모르는 사이 바뀔 수도 있고, 새로운 reviewer가 나와서 모두 바꿔버릴 수도 있다. 이런 것들을 최소화 하기 위해서는 Written Document를 준비하는 것이 좋은데, 제일 쉬운 것이 좋은 Meeting Minutes을 만드는 것이다. End of Phase 2 Meeting 이 끝나는 대로 회사로 돌아가기 전 그날로 회사측 참가자들이 모여서 함께 Meeting Minute을 만들어서 며칠 내로 FDA로 보내주면 FDA는 그것을 바탕으로 자기들의 Meeting Minute을 만들 가능성이 높다. 그러면 적어도 기억이 안나서 중요한 것이 Minute에서 빠지는 것은 최소화 할 수 있다.
이렇게 해서 Phase 3 study가 끝나고 NDA가 FDA에 제출 되면, 새로운 process 가 시작된다. 다음번 연재에서는 NDA review 상에서의 FDA Statistician의 역할과 tip들, 그리고 Statistician 의 역할을 보여주는 Case Study 를 함께 나누고자 한다.
- 이전글 이전글이 없습니다.
- 다음글 다음글이 없습니다.
