這是一個 GitHub 項目，名為?Open-Chat-Video-Editor，是一個基于? 文本生成視頻 ?的開源工具。
該項目的主要特點有：
- 涵蓋多種主流算法和模型 ，如 Chatgpt, Stable Diffusion, CLIP 等，可以根據(jù)用戶輸入的文本，自動生成視頻內(nèi)容。
- 支持多種輸入方式 ，如直接輸入文本，或者輸入一個網(wǎng)頁鏈接，可以將網(wǎng)頁內(nèi)容轉(zhuǎn)換為視頻。
- 提供多種安裝方式 ，如使用 docker，或者直接安裝依賴包，可以在不同的環(huán)境中運行該項目。
- 僅用于交流學(xué)習(xí) ，不得用于商業(yè)，以及其他會對社會帶來危害的用途。
或者你對這些生澀的文字感到難以理解，下面上一個結(jié)構(gòu)圖你就大致明白了：
以上是它的整體技術(shù)框架，再來一組結(jié)果展示加強理解
1、短句轉(zhuǎn)短視頻（Text2Video）
界面如下:
?以輸入文案：【小孩子養(yǎng)寵物】為例，利用文本模型（如：chatgpt 等），可以自動生成一個較長的短視頻文案：
['小孩子養(yǎng)寵物', '可以更好地提升小孩子的責(zé)任感和獨立感', '但也要慎重的選擇合適的寵物', '因為只有經(jīng)過一定的訓(xùn)練養(yǎng)成', '它們才能夠成長起來', '一起玩耍和度過一段歡快的時光', '寵物不僅能夠陪伴小孩子渡過寂寞時光', '還能培養(yǎng)小孩子處事冷靜、自信以及情感交流和溝通能力', '在養(yǎng)寵物的過程中', '小孩子們可以喚醒和發(fā)掘他們被磨練出來的堅毅和耐力', '能夠親身體驗到勤勉 和堅持的重要性']
根據(jù)不同的視頻生成模式，可以生成不同的視頻，各個模式如下:
1）圖像檢索
2）圖像生成（stable diffusion）
3）先圖像檢索，再基于 stable diffusion 進行圖像生成
4）視頻檢索
2、網(wǎng)頁轉(zhuǎn)短視頻（Url2Video）
界面如下：
1）輸入一個 url, 例如：https://zh.wikipedia.org/wiki/%E7%BE%8E%E5%9B%BD%E7%9F%AD%E6%AF%9B%E7%8C%AB?其內(nèi)容是：美國短毛貓的維基百科
2）解析網(wǎng)頁并自動摘要成短視頻文案，結(jié)果如下：
['nn 美國短毛貓', '是一種神奇又魔幻的寵物貓品種', '它們優(yōu)雅可愛', '活力無比', '能擁有多達(dá) 80 多種頭毛色彩', '最出名的是銀虎斑', ' 其銀色毛發(fā)中透著濃厚的黑色斑紋 ', ' 除此之外 ', ' 它們還非常溫柔 ', ' 是非常適合家庭和人類相處的寵物 ', ' 并且平均壽命達(dá) 15-20 年 ', ' 這種可愛的貓品種 ', ' 正在受到越來越多人的喜愛 ', ' 不妨試試你也來養(yǎng)一只吧 ']
3）自動合成短視頻 例如圖像生成模式
如何使用該項目進行視頻編輯？
要使用該項目進行視頻編輯，您需要先安裝好相關(guān)的依賴環(huán)境，然后下載數(shù)據(jù)索引和 meta 信息，最后選擇合適的配置文件，運行相應(yīng)的腳本。具體的步驟如下：
- 安裝依賴環(huán)境
- 安裝 Pytorch，根據(jù)您的設(shè)備選擇 GPU 或 CPU 版本，使用 pip 命令進行安裝。
- 安裝其他依賴包，使用 pip 命令安裝 requirements.txt 文件中的包。
- 安裝 CLIP，使用 pip 命令安裝 OpenAI 的 CLIP 項目。
- 安裝 FAISS，使用 conda 命令安裝 pytorch 的 faiss-cpu 包。
- 下載數(shù)據(jù)索引和 meta 信息
- 下載 data.tar 文件，解壓到 data/index 目錄下。
- 選擇配置文件
- 根據(jù)您的輸入數(shù)據(jù)和期望的輸出效果，選擇不同的配置文件，放在 configs 目錄下。
- 如果您要使用 ChatGPT 來生成文案，您需要在配置文件中，提前配置好 OpenAI 的 API Key 和 organization ID。
- 運行腳本
- 根據(jù)您的輸入數(shù)據(jù)，選擇不同的功能，運行 app/app.py 文件，指定 func 和 cfg 參數(shù)。
- 例如，如果您要輸入一句話，生成一個視頻，您可以運行：
- 然后，您可以在終端中輸入您想要生成視頻的文本，等待程序運行完成，您就可以在 output 目錄下找到生成的視頻文件。
正文完
