LLM信用卡欺詐框架FIA在測試中將F1準確率提升8%

  |  

一項新的研究框架正在測試人工智能能否承擔銀行業最繁瑣的工作之一:從成千上萬條欺詐警報中篩選出真正重要的信息。研究員阿薩夫·沙布泰(Asaf Shabtai)推出了一套據稱是首個專門用於實現信用卡欺詐調查自動化的系統,該系統利用大型語言模型來處理目前耗費分析師大量時間和精力的步驟。

要點總結

  • 欺詐調查助手 (FIA)被描述爲第一個使用多模態大型語言模型來自動執行信用卡欺詐調查關鍵步驟的框架。
  • 欺詐分析師面臨着研究人員所說的“警報疲勞”,這是由於交易監控系統產生的警報數量龐大造成的。
  • FIA 結合了 LLM 的推理、代碼執行和視覺能力,在短時間內收集一致的證據。
  • 在 Sparkov 和 CCTD 數據集上進行的測試表明,在對臨界病例進行1500 次額外調查後,F1 分數提高了 8%

信用卡欺詐檢測與調查面臨的挑戰

欺詐檢測系統仍然至關重要,但它們始終難以跟上欺詐手段快速演變的步伐。檢測算法能夠識別的欺詐手段與實際漏網之魚之間的差距,正是現代銀行業中調查(即人工和分析性的後續工作)仍然如此重要的原因。

不斷演變的欺詐技術超越了檢測系統的發展速度

信用卡欺詐防範在現代社會中扮演着至關重要的角色,原因顯而易見:金融機構和客戶都依賴於能夠在實際損失發生之前標記可疑活動的系統。然而,FIA 背後的研究指出,該系統存在一個持續的薄弱環節。檢測系統雖然必不可少,但往往難以跟上犯罪分子不斷演變的欺詐手段,這些手段能夠繞過自動化過濾器。

由於警報數量過多,欺詐分析師出現警報疲勞

這種檢測漏洞會給實際執行工作的人員帶來後續問題。研究表明,信用卡交易監控系統會產生海量警報,令欺詐分析師疲於應對。每條警報都需要仔細處理、專業知識和詳盡的記錄,這種工作量直接導致了研究中所稱的“警報疲勞”。當分析師如此疲於奔命時,一些模糊不清的案例就可能得不到應有的審查,而這恰恰是自動化系統試圖彌補的缺口。

欺詐調查的作用和重要性

調查並非只是檢測失敗後的備用方案,而是確保檢測模型始終保持敏銳的關鍵過程。研究表明,欺詐調查是一種至關重要的補充機制,能夠隨着時間的推移不斷提升檢測模型的性能發現新的欺詐趨勢,爲利益相關者提供案例洞察,並維護客戶的信任。換句話說,每個調查案例都會反饋到系統中,使未來的檢測更加智能。這種反饋循環正是大型語言模型欺詐調查工具(例如 FIA)的價值所在:它們能夠加速以往完全依賴人工的流程,從而創造更多價值。

介紹欺詐調查助手(FIA)框架

FIA旨在自動化目前耗費分析師最多時間的欺詐調查環節,同時又不降低利益相關者和合規團隊所期望的解釋嚴謹性。研究表明,它是首個將多模態邏輯邏輯模型直接應用於此任務的框架。

多模態大型語言模型可自動執行調查步驟

該框架採用多模態大型語言模型,自動執行信用卡欺詐調查的關鍵步驟並生成解釋性報告。FIA 並非簡單地將交易標記爲可疑,而是旨在分析決策背後的邏輯,並生成可供人工審覈人員實際使用的文檔。這標誌着欺詐評分方式從黑箱式轉向更接近審計追蹤的模式,意義重大。

關鍵能力:推理、代碼執行和願景,以實現一致的證據收集

FIA 的獨特之處在於它巧妙地融合了三種不同的語言模型 (LLM) 功能。該系統利用大型語言模型的推理、代碼執行和視覺識別能力,收集相關且邏輯一致的證據,同時保持調查路徑相對較短。這種組合至關重要,因爲欺詐案件很少僅依賴單一數據點;它們通常需要交叉比對交易模式、進行快速計算以及解讀視覺或文檔證據,而這些任務傳統上需要人工分析師同時操作多種工具才能完成。

FIA的實驗驗證及優勢

該框架的有效性已通過兩個成熟的欺詐數據集進行了測試,結果表明,尤其是在最難識別的案例中,其性能得到了顯著提升。在 Sparkov 和 CCTD 數據集上的測試表明,FIA 在處理不確定案例的過程中逐步提高了 F1 分數,僅經過 1500 次額外調查後,F1 分數就提升了8% 。F1 分數是衡量準確率和召回率的標準指標,這意味着隨着系統處理更多臨界案例,它在識別真實欺詐和避免誤報方面都取得了進步。

這條改進曲線本身就意義重大,但其更廣泛的意義或許更爲重要:研究結果表明,基於 LLM 的代理有潛力簡化欺詐調查工作流程的主要組成部分,而且它們似乎對解決模糊警報特別有用,而這正是那些往往會堆積起來並導致分析師精疲力竭的案件類別。

爲什麼這種方法對行業至關重要

對於銀行和髮卡機構而言,警報疲勞不僅僅是內部人員配置的難題,更會倍增風險。當人工分析師人手不足時,一些模棱兩可的案例可能會被草率處理或延誤,這要麼會導致欺詐行爲矇混過關,要麼會給合法客戶帶來不必要的麻煩。如果像 FIA 這樣的框架能夠像早期測試表明的那樣擴展應用,就可以將分析師的時間轉移到真正複雜的決策上,而讓自動化推理來處理那些例行但耗時的證據收集工作。

值得注意的是,這與欺詐調查自動化的整體發展軌跡密切相關。長期以來,檢測系統一直依賴於模式匹配和統計模型,但這些方法本質上無法跟上新型欺詐技術的步伐。在檢測層之上疊加多模態邏輯層(LLM),尤其是在調查階段,引入了一種反饋機制,可以幫助機構比僅依靠基於規則的系統更快地適應變化。

常問問題

爲什麼防範信用卡欺詐如此重要?

信用卡欺詐防範在現代社會中發揮着重要作用,它能夠保護客戶的信任和財務安全。

當前欺詐檢測系統面臨哪些挑戰?

欺詐檢測系統往往難以跟上不斷變化的欺詐手段,導致漏報或警報不明確。

欺詐調查助手(FIA)框架如何幫助欺詐分析師?

FIA 使用大型語言模型自動執行關鍵調查步驟,減少警報疲勞並生成解釋性報告以幫助分析人員。

有哪些證據支持國際汽聯的有效性?

在 Sparkov 和 CCTD 數據集上的實驗表明,FIA 在調查了 1,500 個臨界案例後,將 F1 分數提高了8%

本文由人工智能輔助生成,並經編輯團隊審覈。

推薦閱讀

相關文章

未來消費者支付不會淘汰卡片——到2029年,卡片交易量將增長至1.1萬億

多年來,業內人士一直預測,隨着銀行和消費者接受更快、更便宜的支付方式,塑料卡終將消亡。然而,這一預測並未實現。如今,塑造未來消費者支付格局的,是各種支付方式的共存與複雜交織:銀行卡的使用量持續增長,與此同時,賬戶間轉賬也迅速發展,迫使銀行、髮卡機構和收單機構重新思考其支付基礎設施的運營模式。