摘要：AI繪畫(huà)自動(dòng)生成器、van blog 高性能個(gè)人博客系統(tǒng)、PaddleScience 基于PaddlePaddle的科學(xué)計(jì)算SDK和庫(kù)、CvComposer OpenCV高級(jí)圖形界面、Dolt 面向數(shù)據(jù)的版本控制、『決策算法』電子書(shū)、『表格數(shù)據(jù)深度學(xué)習(xí)』資料清單、合成人臉高質(zhì)量數(shù)據(jù)集、協(xié)同感知文獻(xiàn)列表、前沿論文…

日?qǐng)?bào)合輯 | 電子月刊 | 公眾號(hào)下載資料 | @韓信子

? 星巴克推出 Web3 平臺(tái) Starbucks Odyssey

https://stories.starbucks.com/press/2022/starbucks-brewing-revolutionary-web3-experience-for-its-starbucks-rewards-members/

9 月 12 日星巴克宣布推出 Web3 平臺(tái) Starbucks Odyssey，將星巴克的忠誠(chéng)度計(jì)劃 Starbucks Rewards 與 NFT 平臺(tái)相結(jié)合，允許客戶(hù)賺取和購(gòu)買(mǎi)數(shù)字資產(chǎn)，從而解鎖獨(dú)家體驗(yàn)和獎(jiǎng)勵(lì)。Starbucks Odyssey 的所有 NFT 都由星巴克與藝術(shù)家共同創(chuàng)作，可以登錄參與設(shè)定的互動(dòng)游戲等獲取，也可以使用信用卡直接購(gòu)買(mǎi)。NTF 的積分可用于體驗(yàn)星巴克的酒類(lèi)制作課程、參加星巴克的烘焙活動(dòng)等。

此外，值得注意的是，Starbucks Odyssey 平臺(tái)將由以太坊擴(kuò)容方案 Polygon 提供技術(shù)支撐，以降低可能的昂貴的鏈上交易成本。Polygon 官方也于同一時(shí)間發(fā)推表示合作愉快。

? 『AI Art Generator』AI藝術(shù)作品自動(dòng)生成器

https://github.com/rbbrdckybk/ai-art-generator

AI Art Generator 用于在本地自動(dòng)批量基于 AI 創(chuàng)建藝術(shù)作品（繪畫(huà)）。它將充分利用你的GPU進(jìn)行 7X24 小時(shí)創(chuàng)作藝術(shù)畫(huà)，能夠自動(dòng)生成 prompt 隊(duì)列，結(jié)合用戶(hù)選擇的主題、風(fēng)格/ 藝術(shù)家等進(jìn)行工作。

? 『van-blog』簡(jiǎn)潔實(shí)用優(yōu)雅的高性能個(gè)人博客系統(tǒng)

https://github.com/Mereithhh/van-blog

https://vanblog.mereith.com/

VanBlog 是一款簡(jiǎn)潔實(shí)用優(yōu)雅的高性能個(gè)人博客系統(tǒng)。支持 HTTPS 證書(shū)全自動(dòng)按需申請(qǐng)、黑暗模式、移動(dòng)端自適應(yīng)和評(píng)論，內(nèi)置流量統(tǒng)計(jì)與圖床，內(nèi)嵌評(píng)論系統(tǒng)，配有完備的、支持黑暗模式、支持移動(dòng)端、支持一鍵上傳剪切板圖片到圖床、帶有強(qiáng)大的編輯器的后臺(tái)管理面板。

? 『PaddleScience』基于 PaddlePaddle 開(kāi)發(fā) AI 驅(qū)動(dòng)科學(xué)計(jì)算應(yīng)用的 SDK和庫(kù)

https://github.com/PaddlePaddle/PaddleScience

https://paddlescience.paddlepaddle.org.cn/

PaddleScience 基于 PaddlePaddle 框架構(gòu)建，充分使用了其生態(tài)下的軟件組件，用于開(kāi)發(fā)新的科學(xué)計(jì)算應(yīng)用。覆蓋的領(lǐng)域包括物理信息機(jī)器學(xué)習(xí)、基于神經(jīng)網(wǎng)絡(luò)的PDE求解器、用于 CFD 的機(jī)器學(xué)習(xí)等等。PaddleScience 仍在不斷開(kāi)發(fā)和更新中。

? 『CvComposer』OpenCV的高級(jí)圖形界面，可方便構(gòu)建工作流、快捷查看結(jié)果

https://github.com/wawanbreton/cvcomposer

CvComposer 是一個(gè) OpenCV 的圖形界面工具。它讓你輕松使用和組合多種處理功能，并實(shí)時(shí)看到效果。典型的應(yīng)用包括：

通過(guò)觀察單個(gè)函數(shù)的效果來(lái)學(xué)習(xí) OpenCV通過(guò)組合函數(shù)來(lái)設(shè)計(jì)復(fù)雜的圖像視覺(jué)算法微調(diào)參數(shù)（閾值、核大小...）

? 『Dolt』面向數(shù)據(jù)的版本控制，數(shù)據(jù)的 Git，13K Star

https://github.com/dolthub/dolt

Dolt 是一個(gè) SQL 數(shù)據(jù)庫(kù)，你可以像 Git 倉(cāng)庫(kù)一樣克隆、分支控制、合并、推送和拉取操作。將MySQL 數(shù)據(jù)庫(kù)連接到 Dolt，運(yùn)行查詢(xún)或使用 SQL 命令更新數(shù)據(jù)都很方便。它支持使用命令行界面導(dǎo)入 CSV 文件，提交你的修改，推送到遠(yuǎn)程，或合并團(tuán)隊(duì)其他同學(xué)的修改。所有 Git 的命令在 Dolt 上都保持了一致性，可以放心使用。

? 『Algorithms for Decision Making』決策算法·免費(fèi)書(shū)

https://algorithmsbook.com/

PDF 下載：https://algorithmsbook.com/files/dm.pdf

本書(shū)對(duì)不確定條件下的決策算法作了廣泛的介紹，內(nèi)容涵蓋了與決策有關(guān)的各種主題，介紹了基本的數(shù)學(xué)問(wèn)題公式和解決這些問(wèn)題的算法。包含以下主題：

第一部分：概率推理

表征推理參數(shù)學(xué)習(xí)結(jié)構(gòu)學(xué)習(xí)簡(jiǎn)單決策

第二部分：順序問(wèn)題

精確解法近似值函數(shù)在線(xiàn)規(guī)劃政策搜索政策梯度估計(jì)政策梯度優(yōu)化角色批判方法政策驗(yàn)證

第三部分：模型的不確定性

探索和利用基于模型的方法無(wú)模型的方法模仿學(xué)習(xí)

第四部分：狀態(tài)的不確定性

信念準(zhǔn)確的信念狀態(tài)規(guī)劃離線(xiàn)信念狀態(tài)規(guī)劃在線(xiàn)信念狀態(tài)規(guī)劃控制器抽象

第五部分：多Agent系統(tǒng)

多Agent推理序列問(wèn)題狀態(tài)的不確定性協(xié)作代理

? 『A Short Chronology Of Deep Learning For Tabular Data』表格數(shù)據(jù)深度學(xué)習(xí)簡(jiǎn)明清單

https://sebastianraschka.com/blog/2022/deep-learning-for-tabular-data.html

我們知道深度學(xué)習(xí)非常適合非結(jié)構(gòu)化數(shù)據(jù)，深度學(xué)習(xí)有時(shí)被稱(chēng)為『表征學(xué)習(xí)』，因?yàn)樗膬?yōu)勢(shì)在于學(xué)習(xí)特征提取的能力。大多數(shù)結(jié)構(gòu)化（表格）數(shù)據(jù)集已經(jīng)表示了（通常是手動(dòng)）提取的特征，但許多研究人員最近試圖為結(jié)構(gòu)化數(shù)據(jù)集開(kāi)發(fā)特殊用途的深度學(xué)習(xí)方法。這篇內(nèi)容整理和更新了結(jié)構(gòu)化數(shù)據(jù)上的深度學(xué)習(xí)研究和應(yīng)用資源列表。

? 『Synthetic Faces High Quality (SFHQ) Dataset』合成人臉高質(zhì)量數(shù)據(jù)集

https://github.com/SelfishGene/SFHQ-dataset

這個(gè)數(shù)據(jù)集由 3 個(gè)部分組成，每個(gè)部分包含大約 9 萬(wàn)張精心收集的高質(zhì)量 1024x1024 的合成臉部圖像。它是通過(guò)使用『將圖像編碼到 StyleGAN2 潛在空間，并操作將每個(gè)圖像變成一個(gè)照片般的真實(shí)圖像』得到。該數(shù)據(jù)集還包含面部關(guān)鍵點(diǎn)和解析語(yǔ)義分割圖。

? 『Collaborative Perception』協(xié)同感知相關(guān)文獻(xiàn)列表

https://github.com/Little-Podi/Collaborative_Perception

該項(xiàng)目是 V2I / V2V / V2X 自動(dòng)駕駛場(chǎng)景下的協(xié)作 / 合作 / 多代理感知的最新進(jìn)展的論文摘要。論文按第一個(gè)字符的字母順序列出。所有論文和代碼的鏈接都可以免費(fèi)訪問(wèn)。

公眾號(hào)后臺(tái)回復(fù)關(guān)鍵字 日?qǐng)?bào)，免費(fèi)獲取整理好的論文合輯。

科研進(jìn)展

2022.08.26 『視頻檢索』 Partially Relevant Video Retrieval2022.02.12 『目標(biāo)檢測(cè)』 Depth-Cooperated Trimodal Network for Video Salient Object Detection2022.01.01 『對(duì)比學(xué)習(xí)』 Cross-View Language Modeling: Towards Unified Cross-Lingual Cross-Modal Pre-training

? 論文：Partially Relevant Video Retrieval

論文時(shí)間：26 Aug 2022

領(lǐng)域任務(wù)：Moment Retrieval, Multiple Instance Learning, 視頻檢索，計(jì)算機(jī)視覺(jué)

論文地址：https://arxiv.org/abs/2208.12510

代碼實(shí)現(xiàn)：https://github.com/HuiGuanLab/ms-sl

論文作者：Jianfeng Dong, Xianke Chen, Minsong Zhang, Xun Yang, ShuJie Chen, Xirong Li, Xun Wang

論文簡(jiǎn)介：To fill the gap, we propose in this paper a novel T2VR subtask termed Partially Relevant Video Retrieval (PRVR)./為了填補(bǔ)這一空白，我們?cè)诒疚闹刑岢隽艘粋€(gè)新的T2VR子任務(wù)，即部分相關(guān)視頻檢索（PRVR）。

論文摘要：目前的文本-視頻檢索（T2VR）方法是在面向視頻字幕的數(shù)據(jù)集（如MSVD、MSR-VTT和VATEX）上進(jìn)行訓(xùn)練和測(cè)試。這些數(shù)據(jù)集的一個(gè)關(guān)鍵屬性是，視頻被假定為時(shí)間上的預(yù)剪短，而提供的標(biāo)題很好地描述了視頻內(nèi)容的要點(diǎn)。因此，對(duì)于一個(gè)給定的成對(duì)的視頻和標(biāo)題，視頻應(yīng)該是與標(biāo)題完全相關(guān)的。然而，在現(xiàn)實(shí)中，由于查詢(xún)并不是預(yù)先知道的，預(yù)先修剪的視頻片段可能不包含足夠的內(nèi)容來(lái)完全滿(mǎn)足查詢(xún)。這表明文獻(xiàn)和現(xiàn)實(shí)世界之間存在差距。為了填補(bǔ)這一空白，我們?cè)诒疚闹刑岢隽艘粋€(gè)新的T2VR子任務(wù)，即部分相關(guān)視頻檢索（PRVR）。如果一個(gè)未經(jīng)修剪的視頻包含了與查詢(xún)相關(guān)的時(shí)刻，那么它就被認(rèn)為與給定的文本查詢(xún)部分相關(guān)。PRVR旨在從一大批未修剪的視頻中檢索出這些部分相關(guān)的視頻。PRVR不同于單一視頻時(shí)刻檢索和視頻語(yǔ)料庫(kù)時(shí)刻檢索，因?yàn)楹髢烧咭獧z索的是時(shí)刻而不是未修剪的視頻。我們將PRVR表述為一個(gè)多實(shí)例學(xué)習(xí)（MIL）問(wèn)題，即一個(gè)視頻同時(shí)被視為一袋視頻片段和一袋視頻幀。片段和幀代表不同時(shí)間尺度的視頻內(nèi)容。我們提出了一個(gè)多尺度相似性學(xué)習(xí)（MS-SL）網(wǎng)絡(luò)，為PRVR共同學(xué)習(xí)片段尺度和幀尺度的相似性。在三個(gè)數(shù)據(jù)集（TVR、ActivityNet Captions和Charades-STA）上的廣泛實(shí)驗(yàn)證明了所提方法的可行性。我們還表明，我們的方法可用于改善視頻語(yǔ)料庫(kù)的時(shí)刻檢索。

? 論文：Depth-Cooperated Trimodal Network for Video Salient Object Detection

論文時(shí)間：12 Feb 2022

領(lǐng)域任務(wù)：object-detection, Optical Flow Estimation, 目標(biāo)檢測(cè)，光流預(yù)估

論文地址：https://arxiv.org/abs/2202.06060

代碼實(shí)現(xiàn)：https://github.com/luyukang/DCTNet

論文作者：Yukang Lu, Dingyao Min, Keren Fu, Qijun Zhao

論文簡(jiǎn)介：However, existing video salient object detection (VSOD) methods only utilize spatiotemporal information and seldom exploit depth information for detection./然而，現(xiàn)有的視頻突出對(duì)象檢測(cè)（VSOD）方法只利用時(shí)空信息，很少利用深度信息進(jìn)行檢測(cè)。

論文摘要：深度可以為突出物體檢測(cè)（SOD）提供有用的地理線(xiàn)索，并且在最近的RGB-D SOD方法中被證明是有用的。然而，現(xiàn)有的視頻突出對(duì)象檢測(cè)（VSOD）方法只利用時(shí)空信息，很少利用深度信息進(jìn)行檢測(cè)。在本文中，我們提出了一個(gè)深度合作的三模網(wǎng)絡(luò)，稱(chēng)為用于VSOD的DCTNet，這是一項(xiàng)結(jié)合深度信息來(lái)輔助VSOD的開(kāi)創(chuàng)性工作。為此，我們首先從RGB幀中生成深度，然后提出一種不平等地處理三種模式的方法。具體來(lái)說(shuō)，我們?cè)O(shè)計(jì)了一個(gè)多模態(tài)注意力模塊（MAM）來(lái)模擬主模態(tài)（RGB）和兩個(gè)輔助模態(tài)（深度、光流）之間的多模態(tài)長(zhǎng)程依賴(lài)關(guān)系。我們還引入了一個(gè)細(xì)化融合模塊（RFM）來(lái)抑制每個(gè)模態(tài)中的噪音，并動(dòng)態(tài)地選擇有用的信息來(lái)進(jìn)一步細(xì)化特征。最后，在細(xì)化特征后采用漸進(jìn)式融合策略，實(shí)現(xiàn)最終的跨模態(tài)融合。在五個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)證明了我們的深度合作模型相對(duì)于12種最先進(jìn)的方法的優(yōu)越性，深度的必要性也得到了驗(yàn)證。

? 論文：Cross-View Language Modeling: Towards Unified Cross-Lingual Cross-Modal Pre-training

論文時(shí)間：1 Jun 2022

領(lǐng)域任務(wù)：Contrastive Learning, Language Modelling, 對(duì)比學(xué)習(xí)，語(yǔ)言模型

論文地址：https://arxiv.org/abs/2206.00621

代碼實(shí)現(xiàn)：https://github.com/zengyan-97/cclm

論文作者：Yan Zeng, Wangchunshu Zhou, Ao Luo, Xinsong Zhang

論文簡(jiǎn)介：To this end, the cross-view language modeling framework considers both multi-modal data (i. e., image-caption pairs) and multi-lingual data (i. e., parallel sentence pairs) as two different views of the same object, and trains the model to align the two views by maximizing the mutual information between them with conditional masked language modeling and contrastive learning./為此，跨視圖語(yǔ)言建?？蚣軐⒍嗄B(tài)數(shù)據(jù)（即圖像-標(biāo)題對(duì)）和多語(yǔ)言數(shù)據(jù)（即平行句子對(duì)）視為同一對(duì)象的兩個(gè)不同視圖，并通過(guò)條件掩碼語(yǔ)言建模和對(duì)比學(xué)習(xí)，使兩個(gè)視圖之間的相互信息最大化來(lái)訓(xùn)練模型，使其協(xié)調(diào)一致。

論文摘要：在本文中，我們介紹了跨視圖語(yǔ)言建模，這是一個(gè)簡(jiǎn)單而有效的語(yǔ)言模型預(yù)訓(xùn)練框架，它將跨語(yǔ)言跨模式預(yù)訓(xùn)練與共享架構(gòu)和目標(biāo)統(tǒng)一起來(lái)。我們的方法源于一個(gè)關(guān)鍵的觀察，即跨語(yǔ)言和跨模態(tài)的預(yù)訓(xùn)練有著相同的目標(biāo)，即把同一對(duì)象的兩個(gè)不同的觀點(diǎn)統(tǒng)一到一個(gè)共同的語(yǔ)義空間。為此，跨視圖語(yǔ)言建?？蚣軐⒍嗄B(tài)數(shù)據(jù)（即圖像-標(biāo)題對(duì)）和多語(yǔ)言數(shù)據(jù)（即平行句對(duì)）視為同一對(duì)象的兩個(gè)不同視圖，并通過(guò)條件掩蔽語(yǔ)言建模和對(duì)比學(xué)習(xí)使兩個(gè)視圖之間的相互信息最大化來(lái)訓(xùn)練模型。我們用跨視圖語(yǔ)言建?？蚣茴A(yù)先訓(xùn)練CCLM，一個(gè)跨語(yǔ)言的跨模態(tài)語(yǔ)言模型。在IGLUE（一個(gè)多語(yǔ)言多模態(tài)基準(zhǔn)）和兩個(gè)多語(yǔ)言圖像-文本檢索數(shù)據(jù)集上的實(shí)證結(jié)果表明，雖然概念上比較簡(jiǎn)單，但CCLM明顯優(yōu)于之前的最先進(jìn)水平，平均絕對(duì)改進(jìn)超過(guò)10%。值得注意的是，CCLM是第一個(gè)多語(yǔ)言多模態(tài)模型，通過(guò)零點(diǎn)跨語(yǔ)言轉(zhuǎn)移，超越了有代表性的英語(yǔ)視覺(jué)語(yǔ)言模型的翻譯測(cè)試性能。 ShowMeAI 致力于傳播AI優(yōu)質(zhì)內(nèi)容，分享行業(yè)解決方案，用知識(shí)加速每一次技術(shù)成長(zhǎng)！點(diǎn)擊專(zhuān)欄 ，查看歷史消息。公眾號(hào)（ShowMeAI研究中心）回復(fù)關(guān)鍵字 日?qǐng)?bào) ，可以獲取資源包（資料整理匯總與AI電子月刊）。