run-llama/llama_index 项目介绍

LlamaIndex 是一个开源的“数据框架”，旨在帮助开发者构建基于大语言模型（LLM）的智能体应用（Agentic Applications）。其核心目标是解决如何将私有数据高效地注入和增强 LLM 的问题，提供从数据接入、结构化管理到高级检索与查询的一整套工具。

核心功能与解决的问题

解决的核心问题：LLM 虽然擅长知识生成和推理，但仅基于公开预训练数据。如何将用户自己的私有数据（如 PDF、API、SQL 数据库、文档等）与 LLM 能力结合，是 LlamaIndex 要解决的关键挑战。
核心定位：一套“数据框架”，提供数据连接器、数据结构化工具、高级检索/查询接口，以及与外部应用框架（如 LangChain、Flask、Docker）的轻松集成。

核心技术架构与实现思路

模块化架构：LlamaIndex 由核心包（llama-index-core）和超过 300 个集成插件（integration packages）组成。用户可以选择“Starter”包（llama-index，包含核心和默认集成）或“Customized”方式（仅安装 llama-index-core 并从 LlamaHub 按需选择插件）。
命名空间约定：代码中 from llama_index.core.xxx 表示使用核心子模块，from llama_index.xxx.yyy 表示使用集成插件。例如：from llama_index.core.llms import LLM 和 from llama_index.llms.openai import OpenAI。
数据流：通过数据连接器（如 SimpleDirectoryReader）加载文档 → 构建索引（如 VectorStoreIndex）→ 创建查询引擎（query_engine）→ 执行查询。
存储机制：默认数据存储在内存中，支持持久化到磁盘（通过 storage_context.persist() 和 load_index_from_storage() 实现）。

值得关注的技术亮点

LlamaParse 企业平台：这是一个独立的文档智能体平台，提供智能体 OCR、文档解析（支持 130+ 格式）、结构化数据提取、索引与 RAG 管道、文档分割以及端到端文档智能体构建（Workflows 和 Agent Builder）。可与 LlamaIndex 框架协同使用，也可独立使用。
完整的数据处理管线：涵盖数据连接器（API、PDF、SQL 等）、数据结构化（索引、图结构）、高级检索/查询接口（输入任意 LLM 提示，返回增强的上下文和知识）三大环节。
灵活性与定制性：提供高级 API（5 行代码即可实现数据摄入和查询）和低级 API（允许开发者自定义数据连接器、索引、检索器、查询引擎、重排序模块等所有组件）。
多模型支持：示例代码展示了如何集成 OpenAI（如 gpt-3.5-turbo）以及通过 Ollama 使用本地模型（如 llama-3.1），同时支持 HuggingFace 嵌入模型（如 BAAI/bge-small-en-v1.5）。
构建资产验证：llama-index-core 包内嵌了 nltk 和 tiktoken 缓存（位于 _static 文件夹），并利用 GitHub 的 attest-build-provenance 动作验证文件安全性和有效性，确保在磁盘访问受限的环境中也能正常运行。
活跃的社区生态：拥有 Discord、Reddit、Twitter 等社区渠道，并提供了详细的文档、示例和贡献指南。

使用示例（核心代码）

# 安装核心包和所需集成
pip install llama-index-core
pip install llama-index-llms-openai
pip install llama-index-embeddings-huggingface

# 使用 OpenAI 构建索引
import os
os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
documents = SimpleDirectoryReader("YOUR_DATA_DIRECTORY").load_data()
index = VectorStoreIndex.from_documents(documents)

# 使用本地模型（Ollama）构建索引
from llama_index.core import Settings, VectorStoreIndex, SimpleDirectoryReader
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.ollama import Ollama
from transformers import AutoTokenizer
Settings.llm = Ollama(model="llama-3.1:latest", request_timeout=360.0)
Settings.tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")
Settings.embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-small-en-v1.5")
documents = SimpleDirectoryReader("YOUR_DATA_DIRECTORY").load_data()
index = VectorStoreIndex.from_documents(documents)

# 查询
query_engine = index.as_query_engine()
query_engine.query("YOUR_QUESTION")

# 持久化
index.storage_context.persist()

run-llama/llama_index

run-llama/llama_index 项目介绍

核心功能与解决的问题

核心技术架构与实现思路

值得关注的技术亮点

使用示例（核心代码）

Release 历史（3 条）