在人工智能技術(shù)迅猛發(fā)展的背景下，數(shù)據(jù)生成量急劇增長(zhǎng)，同時(shí)伴隨著隱私泄露的風(fēng)險(xiǎn)。量子計(jì)算的快速進(jìn)步對(duì)傳統(tǒng)密碼學(xué)框架構(gòu)成了挑戰(zhàn)，各國(guó)和地區(qū)（如歐盟和美國(guó)）也在積極推動(dòng)個(gè)人數(shù)據(jù)隱私保護(hù)的立法。為應(yīng)對(duì)這些挑戰(zhàn)，安全多方計(jì)算（MPC）、同態(tài)加密、差分隱私等技術(shù)成為有效的用戶隱私保護(hù)工具。邏輯回歸作為一種相對(duì)簡(jiǎn)單的算法，其計(jì)算過(guò)程簡(jiǎn)潔，并在現(xiàn)實(shí)應(yīng)用中具備實(shí)用價(jià)值。大多數(shù)現(xiàn)有方法使用一階梯度下降算法，導(dǎo)致迭代次數(shù)增多，這在MPC場(chǎng)景中加大了通信開(kāi)銷(xiāo)，在HE上下文中則增加了計(jì)算成本。此外，一些方法依賴于受信第三方，這可能引發(fā)隱私泄露風(fēng)險(xiǎn)，而有些則基于同態(tài)加密僅涉及單個(gè)參與者，且大多數(shù)方法集中于二分類(lèi)問(wèn)題，對(duì)多分類(lèi)問(wèn)題的討論較少。
近日，重慶研究院自動(dòng)推理與認(rèn)知研究中心在ICICS2024上發(fā)表了題為《Privacy-preserving Logistic Regression Model Training Scheme by Homomorphic Encryption》的研究成果。該論文提出了一種新的隱私保護(hù)邏輯回歸解決方案，在數(shù)據(jù)橫向分布場(chǎng)景中，充分利用雙方數(shù)據(jù)，實(shí)現(xiàn)雙用戶的交互式計(jì)算。該研究利用牛頓法解決邏輯回歸問(wèn)題，以盡量減少迭代次數(shù)，降低由交互造成的通信開(kāi)銷(xiāo)，使用共軛梯度法求解牛頓更新方向，避免在密文域中進(jìn)行矩陣求逆所需的除法操作，并能夠?qū)⒍诸?lèi)問(wèn)題高效擴(kuò)展至多分類(lèi)場(chǎng)景。?
該研究為隱私保護(hù)邏輯回歸模型的高效訓(xùn)練提供了一種新的思路和方法，在保護(hù)用戶隱私的前提下，提升了模型訓(xùn)練的效率和實(shí)用性。
圖1 ?通信量對(duì)比（不同數(shù)據(jù)維數(shù)）
圖2? 通信量對(duì)比（特征維數(shù)=9，不同迭代次數(shù)）
(a)固定外層循環(huán) (b)固定內(nèi)層循環(huán)
圖3? 通信量對(duì)比（特征維數(shù)=90,不同迭代次數(shù)）
(a)固定外層循環(huán) (b)固定內(nèi)層循環(huán)
重慶研究院碩士研究生苗煒捷為論文的第一作者，吳文淵研究員為通訊作者。該研究工作，得到了科技部重點(diǎn)專(zhuān)項(xiàng)、中國(guó)科學(xué)院西部青年學(xué)者等支持。
論文鏈接：
http://icics2024.aegean.gr/wp-content/uploads/2024/08/150560255.pdf