From b069caf8df28e98437386759bf15b76bbe5aeb40 Mon Sep 17 00:00:00 2001
From: shatfield4 <seanhatfield5@gmail.com>
Date: Thu, 31 Jul 2025 17:17:12 -0700
Subject: [PATCH 01/19] prompt user to embed if exceeds prompt window + handle
 embed + handle cancel

---
 .../ChatContainer/DnDWrapper/index.jsx        | 84 ++++++++++++++---
 frontend/src/models/workspace.js              | 24 +++++
 server/endpoints/workspaces.js                | 92 +++++++++++++++++++
 server/models/workspaceParsedFiles.js         | 77 ++++++++++++++++
 4 files changed, 263 insertions(+), 14 deletions(-)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index 27148ef044a..1f848d03e3e 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -5,6 +5,7 @@ import { useDropzone } from "react-dropzone";
 import DndIcon from "./dnd-icon.png";
 import Workspace from "@/models/workspace";
 import useUser from "@/hooks/useUser";
+import { useParams } from "react-router-dom";
 
 export const DndUploaderContext = createContext();
 export const REMOVE_ATTACHMENT_EVENT = "ATTACHMENT_REMOVE";
@@ -26,6 +27,7 @@ export const ATTACHMENTS_PROCESSED_EVENT = "ATTACHMENTS_PROCESSED";
  */
 
 export function DnDFileUploaderProvider({ workspace, children }) {
+  const { threadSlug = null } = useParams();
   const [files, setFiles] = useState([]);
   const [ready, setReady] = useState(false);
   const [dragging, setDragging] = useState(false);
@@ -170,7 +172,7 @@ export function DnDFileUploaderProvider({ workspace, children }) {
    * Embeds attachments that are eligible for embedding - basically files that are not images.
    * @param {Attachment[]} newAttachments
    */
-  function embedEligibleAttachments(newAttachments = []) {
+  async function embedEligibleAttachments(newAttachments = []) {
     window.dispatchEvent(new CustomEvent(ATTACHMENTS_PROCESSING_EVENT));
     const promises = [];
 
@@ -180,26 +182,80 @@ export function DnDFileUploaderProvider({ workspace, children }) {
 
       const formData = new FormData();
       formData.append("file", attachment.file, attachment.file.name);
+      formData.append("threadSlug", threadSlug || "");
       promises.push(
-        Workspace.uploadAndEmbedFile(workspace.slug, formData).then(
-          ({ response, data }) => {
+        Workspace.parseFile(workspace.slug, formData).then(
+          async ({ response, data }) => {
+            if (!response.ok) {
+              const updates = {
+                status: "failed",
+                error: data?.error ?? null,
+              };
+              setFiles((prev) =>
+                prev.map(
+                  (
+                    /** @type {Attachment} */
+                    prevFile
+                  ) =>
+                    prevFile.uid !== attachment.uid
+                      ? prevFile
+                      : { ...prevFile, ...updates }
+                )
+              );
+              return;
+            }
+
+            // Check if any file exceeds context window
+            const tokenCount = data.files.reduce(
+              (sum, file) =>
+                sum + JSON.parse(file.metadata).token_count_estimate,
+              0
+            );
+            const contextWindow = 8000; // TODO: Get from workspace or system settings
+            const maxTokens = Math.floor(contextWindow * 0.8);
+
+            if (tokenCount > maxTokens) {
+              // Show alert dialog
+              const choice = window.confirm(
+                `This document exceeds 80% of your context window (${tokenCount} > ${maxTokens} tokens). Would you like to embed it anyway?`
+              );
+
+              if (!choice) {
+                // Delete parsed file and remove from UI
+                await Workspace.deleteParsedFile(
+                  workspace.slug,
+                  data.files[0].id
+                );
+                setFiles((prev) =>
+                  prev.filter((prevFile) => prevFile.uid !== attachment.uid)
+                );
+                return;
+              }
+            }
+
+            // User chose to continue or file is within limits
+            // We already have the file parsed, just need to move and embed it
+            const embedResult = await Workspace.embedParsedFile(
+              workspace.slug,
+              data.files[0].id
+            );
             const updates = {
-              status: response.ok ? "success" : "failed",
-              error: data?.error ?? null,
-              document: data?.document,
+              status: embedResult.response.ok ? "success" : "failed",
+              error: embedResult.data?.error ?? null,
+              document: embedResult.data?.document,
             };
 
-            setFiles((prev) => {
-              return prev.map(
+            setFiles((prev) =>
+              prev.map(
                 (
                   /** @type {Attachment} */
                   prevFile
-                ) => {
-                  if (prevFile.uid !== attachment.uid) return prevFile;
-                  return { ...prevFile, ...updates };
-                }
-              );
-            });
+                ) =>
+                  prevFile.uid !== attachment.uid
+                    ? prevFile
+                    : { ...prevFile, ...updates }
+              )
+            );
           }
         )
       );
diff --git a/frontend/src/models/workspace.js b/frontend/src/models/workspace.js
index 5db3fff866f..5bdbbe552d0 100644
--- a/frontend/src/models/workspace.js
+++ b/frontend/src/models/workspace.js
@@ -464,6 +464,30 @@ const Workspace = {
     return { response, data };
   },
 
+  deleteParsedFile: async function (slug, fileId) {
+    const response = await fetch(
+      `${API_BASE}/workspace/${slug}/delete-parsed-file/${fileId}`,
+      {
+        method: "DELETE",
+        headers: baseHeaders(),
+      }
+    );
+    return response.ok;
+  },
+
+  embedParsedFile: async function (slug, fileId) {
+    const response = await fetch(
+      `${API_BASE}/workspace/${slug}/embed-parsed-file/${fileId}`,
+      {
+        method: "POST",
+        headers: baseHeaders(),
+      }
+    );
+
+    const data = await response.json();
+    return { response, data };
+  },
+
   /**
    * Deletes and un-embeds a single file in a single call from a workspace
    * @param {string} slug - workspace slug
diff --git a/server/endpoints/workspaces.js b/server/endpoints/workspaces.js
index b2b70d9fbe5..920d1891cda 100644
--- a/server/endpoints/workspaces.js
+++ b/server/endpoints/workspaces.js
@@ -32,6 +32,7 @@ const {
 } = require("../utils/files/pfp");
 const { getTTSProvider } = require("../utils/TextToSpeech");
 const { WorkspaceThread } = require("../models/workspaceThread");
+
 const truncate = require("truncate");
 const { purgeDocument } = require("../utils/files/purgeDocument");
 const { getModelTag } = require("./utils");
@@ -112,6 +113,85 @@ function workspaceEndpoints(app) {
     }
   );
 
+  app.delete(
+    "/workspace/:slug/delete-parsed-file/:fileId",
+    [validatedRequest, flexUserRoleValid([ROLES.admin, ROLES.manager])],
+    async function (request, response) {
+      try {
+        const { slug = null, fileId = null } = request.params;
+        const user = await userFromSession(request, response);
+        const workspace = multiUserMode(response)
+          ? await Workspace.getWithUser(user, { slug })
+          : await Workspace.get({ slug });
+
+        if (!workspace || !fileId) {
+          response.sendStatus(400).end();
+          return;
+        }
+
+        const success = await WorkspaceParsedFiles.delete({
+          id: parseInt(fileId),
+        });
+        response.status(success ? 200 : 500).end();
+      } catch (e) {
+        console.error(e.message, e);
+        response.sendStatus(500).end();
+      }
+    }
+  );
+
+  app.post(
+    "/workspace/:slug/embed-parsed-file/:fileId",
+    [validatedRequest, flexUserRoleValid([ROLES.admin, ROLES.manager])],
+    async function (request, response) {
+      try {
+        const { slug = null, fileId = null } = request.params;
+        const user = await userFromSession(request, response);
+        const workspace = multiUserMode(response)
+          ? await Workspace.getWithUser(user, { slug })
+          : await Workspace.get({ slug });
+
+        if (!workspace || !fileId) {
+          response.sendStatus(400).end();
+          return;
+        }
+
+        const { success, error, document } =
+          await WorkspaceParsedFiles.moveToDocumentsAndEmbed(
+            fileId,
+            workspace.id
+          );
+
+        if (!success) {
+          response.status(500).json({
+            success: false,
+            error: error || "Failed to embed file",
+          });
+          return;
+        }
+
+        await Telemetry.sendTelemetry("document_embedded");
+        await EventLogs.logEvent(
+          "document_embedded",
+          {
+            documentName: document?.name || "unknown",
+            workspaceId: workspace.id,
+          },
+          user?.id
+        );
+
+        response.status(200).json({
+          success: true,
+          error: null,
+          document,
+        });
+      } catch (e) {
+        console.error(e.message, e);
+        response.sendStatus(500).end();
+      }
+    }
+  );
+
   app.post(
     "/workspace/:slug/parse",
     [
@@ -154,6 +234,17 @@ function workspaceEndpoints(app) {
           return;
         }
 
+        // Get thread ID if we have a slug
+        const { threadSlug } = reqBody(request);
+        let threadId = null;
+        if (threadSlug) {
+          const thread = await WorkspaceThread.get({
+            slug: threadSlug,
+            workspace_id: workspace.id,
+          });
+          threadId = thread?.id || null;
+        }
+
         const files = await Promise.all(
           documents.map(async (doc) => {
             const metadata = { ...doc };
@@ -165,6 +256,7 @@ function workspaceEndpoints(app) {
               filename,
               workspaceId: workspace.id,
               userId: user?.id || null,
+              threadId,
               metadata: JSON.stringify(metadata),
             });
 
diff --git a/server/models/workspaceParsedFiles.js b/server/models/workspaceParsedFiles.js
index caef4bafb84..a8eb0034f74 100644
--- a/server/models/workspaceParsedFiles.js
+++ b/server/models/workspaceParsedFiles.js
@@ -1,4 +1,9 @@
 const prisma = require("../utils/prisma");
+const { EventLogs } = require("./eventLogs");
+const { Document } = require("./documents");
+const { Workspace } = require("./workspace");
+const fs = require("fs");
+const path = require("path");
 
 const WorkspaceParsedFiles = {
   create: async function ({
@@ -19,6 +24,15 @@ const WorkspaceParsedFiles = {
         },
       });
 
+      await EventLogs.logEvent(
+        "workspace_file_parsed",
+        {
+          filename,
+          workspaceId,
+        },
+        userId
+      );
+
       return { file, error: null };
     } catch (error) {
       console.error("FAILED TO CREATE PARSED FILE RECORD.", error.message);
@@ -62,6 +76,69 @@ const WorkspaceParsedFiles = {
       return false;
     }
   },
+
+  moveToDocumentsAndEmbed: async function (fileId, workspaceId) {
+    try {
+      const parsedFile = await this.get({ id: parseInt(fileId) });
+      if (!parsedFile) throw new Error("File not found");
+
+      // Parse the metadata to get the actual file location
+      const metadata = JSON.parse(parsedFile.metadata || "{}");
+      const location = metadata.location;
+      if (!location) throw new Error("No file location in metadata");
+
+      // Read the file from direct-uploads using the location from metadata
+      const directUploadsPath =
+        process.env.NODE_ENV === "development"
+          ? path.resolve(__dirname, "../storage/direct-uploads")
+          : path.resolve(process.env.STORAGE_DIR, "direct-uploads");
+      const sourceFile = path.join(directUploadsPath, location.split("/")[1]);
+      if (!fs.existsSync(sourceFile)) throw new Error("Source file not found");
+
+      // Move to documents/custom-documents
+      const documentsPath =
+        process.env.NODE_ENV === "development"
+          ? path.resolve(__dirname, "../storage/documents")
+          : path.resolve(process.env.STORAGE_DIR, "documents");
+      const customDocsPath = path.join(documentsPath, "custom-documents");
+      if (!fs.existsSync(customDocsPath))
+        fs.mkdirSync(customDocsPath, { recursive: true });
+
+      // Copy the file to custom-documents
+      const targetPath = path.join(customDocsPath, location.split("/")[1]);
+      fs.copyFileSync(sourceFile, targetPath);
+      fs.unlinkSync(sourceFile);
+
+      // Embed file from custom-documents
+      const workspace = await Workspace.get({ id: parseInt(workspaceId) });
+      if (!workspace) throw new Error("Workspace not found");
+      const {
+        failedToEmbed = [],
+        errors = [],
+        embedded = [],
+      } = await Document.addDocuments(
+        workspace,
+        [`custom-documents/${location.split("/")[1]}`],
+        parsedFile.userId
+      );
+
+      if (failedToEmbed.length > 0) {
+        throw new Error(errors[0] || "Failed to embed document");
+      }
+
+      await this.delete({ id: parseInt(fileId) });
+
+      const document = await Document.get({
+        workspaceId: parseInt(workspaceId),
+        docpath: embedded[0],
+      });
+
+      return { success: true, error: null, document };
+    } catch (error) {
+      console.error("Failed to move and embed file:", error);
+      return { success: false, error: error.message, document: null };
+    }
+  },
 };
 
 module.exports = { WorkspaceParsedFiles };

From a5c5ceb580943e638a037c87a8038f185062417d Mon Sep 17 00:00:00 2001
From: shatfield4 <seanhatfield5@gmail.com>
Date: Fri, 1 Aug 2025 15:46:30 -0700
Subject: [PATCH 02/19] add tokenCountEstimate to workspace_parsed_files +
 optimizations

---
 .../ChatContainer/DnDWrapper/index.jsx        | 10 ++++++----
 .../WorkspaceChat/ChatContainer/index.jsx     |  2 +-
 .../src/components/WorkspaceChat/index.jsx    |  2 +-
 server/endpoints/workspaces.js                |  8 ++++++++
 server/models/workspaceParsedFiles.js         |  4 +++-
 .../migration.sql                             |  1 +
 server/prisma/schema.prisma                   | 19 ++++++++++---------
 7 files changed, 30 insertions(+), 16 deletions(-)
 rename server/prisma/migrations/{20250730235629_init => 20250801213234_init}/migration.sql (95%)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index 1f848d03e3e..bee8ff7aa80 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -5,7 +5,6 @@ import { useDropzone } from "react-dropzone";
 import DndIcon from "./dnd-icon.png";
 import Workspace from "@/models/workspace";
 import useUser from "@/hooks/useUser";
-import { useParams } from "react-router-dom";
 
 export const DndUploaderContext = createContext();
 export const REMOVE_ATTACHMENT_EVENT = "ATTACHMENT_REMOVE";
@@ -26,8 +25,11 @@ export const ATTACHMENTS_PROCESSED_EVENT = "ATTACHMENTS_PROCESSED";
  * @property {('attachment'|'upload')} type - The type of upload. Attachments are chat-specific, uploads go to the workspace.
  */
 
-export function DnDFileUploaderProvider({ workspace, children }) {
-  const { threadSlug = null } = useParams();
+export function DnDFileUploaderProvider({
+  workspace,
+  children,
+  threadSlug = null,
+}) {
   const [files, setFiles] = useState([]);
   const [ready, setReady] = useState(false);
   const [dragging, setDragging] = useState(false);
@@ -182,7 +184,7 @@ export function DnDFileUploaderProvider({ workspace, children }) {
 
       const formData = new FormData();
       formData.append("file", attachment.file, attachment.file.name);
-      formData.append("threadSlug", threadSlug || "");
+      formData.append("threadSlug", threadSlug || null);
       promises.push(
         Workspace.parseFile(workspace.slug, formData).then(
           async ({ response, data }) => {
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
index 6e961a95717..7feb753db59 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
@@ -304,7 +304,7 @@ export default function ChatContainer({ workspace, knownHistory = [] }) {
       className="transition-all duration-500 relative md:ml-[2px] md:mr-[16px] md:my-[16px] md:rounded-[16px] bg-theme-bg-secondary w-full h-full overflow-y-scroll no-scroll z-[2]"
     >
       {isMobile && <SidebarMobileHeader />}
-      <DnDFileUploaderWrapper>
+      <DnDFileUploaderWrapper threadSlug={threadSlug}>
         <MetricsProvider>
           <ChatHistory
             history={chatHistory}
diff --git a/frontend/src/components/WorkspaceChat/index.jsx b/frontend/src/components/WorkspaceChat/index.jsx
index a4d601dc6d6..47a3bbebc2b 100644
--- a/frontend/src/components/WorkspaceChat/index.jsx
+++ b/frontend/src/components/WorkspaceChat/index.jsx
@@ -79,7 +79,7 @@ export default function WorkspaceChat({ loading, workspace }) {
   setEventDelegatorForCodeSnippets();
   return (
     <TTSProvider>
-      <DnDFileUploaderProvider workspace={workspace}>
+      <DnDFileUploaderProvider workspace={workspace} threadSlug={threadSlug}>
         <ChatContainer workspace={workspace} knownHistory={history} />
       </DnDFileUploaderProvider>
     </TTSProvider>
diff --git a/server/endpoints/workspaces.js b/server/endpoints/workspaces.js
index 920d1891cda..20015cd5e7e 100644
--- a/server/endpoints/workspaces.js
+++ b/server/endpoints/workspaces.js
@@ -188,6 +188,12 @@ function workspaceEndpoints(app) {
       } catch (e) {
         console.error(e.message, e);
         response.sendStatus(500).end();
+      } finally {
+        if (request.params.fileId) {
+          await WorkspaceParsedFiles.delete({
+            id: parseInt(request.params.fileId),
+          });
+        }
       }
     }
   );
@@ -241,6 +247,7 @@ function workspaceEndpoints(app) {
           const thread = await WorkspaceThread.get({
             slug: threadSlug,
             workspace_id: workspace.id,
+            user_id: user?.id || null,
           });
           threadId = thread?.id || null;
         }
@@ -258,6 +265,7 @@ function workspaceEndpoints(app) {
               userId: user?.id || null,
               threadId,
               metadata: JSON.stringify(metadata),
+              tokenCountEstimate: doc.token_count_estimate || 0,
             });
 
             if (dbError) throw new Error(dbError);
diff --git a/server/models/workspaceParsedFiles.js b/server/models/workspaceParsedFiles.js
index a8eb0034f74..c48983d0db5 100644
--- a/server/models/workspaceParsedFiles.js
+++ b/server/models/workspaceParsedFiles.js
@@ -12,6 +12,7 @@ const WorkspaceParsedFiles = {
     userId = null,
     threadId = null,
     metadata = null,
+    tokenCountEstimate = 0,
   }) {
     try {
       const file = await prisma.workspace_parsed_files.create({
@@ -21,11 +22,12 @@ const WorkspaceParsedFiles = {
           userId: userId ? parseInt(userId) : null,
           threadId: threadId ? parseInt(threadId) : null,
           metadata,
+          tokenCountEstimate,
         },
       });
 
       await EventLogs.logEvent(
-        "workspace_file_parsed",
+        "workspace_file_uploaded",
         {
           filename,
           workspaceId,
diff --git a/server/prisma/migrations/20250730235629_init/migration.sql b/server/prisma/migrations/20250801213234_init/migration.sql
similarity index 95%
rename from server/prisma/migrations/20250730235629_init/migration.sql
rename to server/prisma/migrations/20250801213234_init/migration.sql
index 2622825985a..5af540b078e 100644
--- a/server/prisma/migrations/20250730235629_init/migration.sql
+++ b/server/prisma/migrations/20250801213234_init/migration.sql
@@ -6,6 +6,7 @@ CREATE TABLE "workspace_parsed_files" (
     "userId" INTEGER,
     "threadId" INTEGER,
     "metadata" TEXT,
+    "tokenCountEstimate" INTEGER DEFAULT 0,
     "createdAt" DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,
     CONSTRAINT "workspace_parsed_files_workspaceId_fkey" FOREIGN KEY ("workspaceId") REFERENCES "workspaces" ("id") ON DELETE CASCADE ON UPDATE CASCADE,
     CONSTRAINT "workspace_parsed_files_userId_fkey" FOREIGN KEY ("userId") REFERENCES "users" ("id") ON DELETE SET NULL ON UPDATE CASCADE
diff --git a/server/prisma/schema.prisma b/server/prisma/schema.prisma
index 18e90f14e83..28f734c7ed6 100644
--- a/server/prisma/schema.prisma
+++ b/server/prisma/schema.prisma
@@ -375,15 +375,16 @@ model desktop_mobile_devices {
 }
 
 model workspace_parsed_files {
-  id          Int        @id @default(autoincrement())
-  filename    String     @unique
-  workspaceId Int
-  userId      Int?
-  threadId    Int?
-  metadata    String?
-  createdAt   DateTime   @default(now())
-  workspace   workspaces @relation(fields: [workspaceId], references: [id], onDelete: Cascade)
-  user        users?     @relation(fields: [userId], references: [id], onDelete: SetNull)
+  id                 Int        @id @default(autoincrement())
+  filename           String     @unique
+  workspaceId        Int
+  userId             Int?
+  threadId           Int?
+  metadata           String?
+  tokenCountEstimate Int?       @default(0)
+  createdAt          DateTime   @default(now())
+  workspace          workspaces @relation(fields: [workspaceId], references: [id], onDelete: Cascade)
+  user               users?     @relation(fields: [userId], references: [id], onDelete: SetNull)
 
   @@index([workspaceId])
   @@index([userId])

From 46abdd9989dcdd9d03a92c5bc5e96effd378e4e0 Mon Sep 17 00:00:00 2001
From: shatfield4 <seanhatfield5@gmail.com>
Date: Fri, 1 Aug 2025 16:01:51 -0700
Subject: [PATCH 03/19] use util for path locations + use safeJsonParse

---
 server/models/workspaceParsedFiles.js | 22 +++++++++-------------
 server/utils/files/index.js           |  5 +++++
 2 files changed, 14 insertions(+), 13 deletions(-)

diff --git a/server/models/workspaceParsedFiles.js b/server/models/workspaceParsedFiles.js
index c48983d0db5..52121c7bba4 100644
--- a/server/models/workspaceParsedFiles.js
+++ b/server/models/workspaceParsedFiles.js
@@ -2,6 +2,8 @@ const prisma = require("../utils/prisma");
 const { EventLogs } = require("./eventLogs");
 const { Document } = require("./documents");
 const { Workspace } = require("./workspace");
+const { documentsPath, directUploadsPath } = require("../utils/files");
+const { safeJsonParse } = require("../utils/http");
 const fs = require("fs");
 const path = require("path");
 
@@ -84,24 +86,16 @@ const WorkspaceParsedFiles = {
       const parsedFile = await this.get({ id: parseInt(fileId) });
       if (!parsedFile) throw new Error("File not found");
 
-      // Parse the metadata to get the actual file location
-      const metadata = JSON.parse(parsedFile.metadata || "{}");
+      // Get file location from metadata
+      const metadata = safeJsonParse(parsedFile.metadata, {});
       const location = metadata.location;
       if (!location) throw new Error("No file location in metadata");
 
-      // Read the file from direct-uploads using the location from metadata
-      const directUploadsPath =
-        process.env.NODE_ENV === "development"
-          ? path.resolve(__dirname, "../storage/direct-uploads")
-          : path.resolve(process.env.STORAGE_DIR, "direct-uploads");
+      // Get file from metadata location
       const sourceFile = path.join(directUploadsPath, location.split("/")[1]);
       if (!fs.existsSync(sourceFile)) throw new Error("Source file not found");
 
-      // Move to documents/custom-documents
-      const documentsPath =
-        process.env.NODE_ENV === "development"
-          ? path.resolve(__dirname, "../storage/documents")
-          : path.resolve(process.env.STORAGE_DIR, "documents");
+      // Move to custom-documents
       const customDocsPath = path.join(documentsPath, "custom-documents");
       if (!fs.existsSync(customDocsPath))
         fs.mkdirSync(customDocsPath, { recursive: true });
@@ -111,7 +105,7 @@ const WorkspaceParsedFiles = {
       fs.copyFileSync(sourceFile, targetPath);
       fs.unlinkSync(sourceFile);
 
-      // Embed file from custom-documents
+      // Embed file
       const workspace = await Workspace.get({ id: parseInt(workspaceId) });
       if (!workspace) throw new Error("Workspace not found");
       const {
@@ -139,6 +133,8 @@ const WorkspaceParsedFiles = {
     } catch (error) {
       console.error("Failed to move and embed file:", error);
       return { success: false, error: error.message, document: null };
+    } finally {
+      await this.delete({ id: parseInt(fileId) });
     }
   },
 };
diff --git a/server/utils/files/index.js b/server/utils/files/index.js
index 47c358d40c3..73c442b63b4 100644
--- a/server/utils/files/index.js
+++ b/server/utils/files/index.js
@@ -7,6 +7,10 @@ const documentsPath =
   process.env.NODE_ENV === "development"
     ? path.resolve(__dirname, `../../storage/documents`)
     : path.resolve(process.env.STORAGE_DIR, `documents`);
+const directUploadsPath =
+  process.env.NODE_ENV === "development"
+    ? path.resolve(__dirname, `../../storage/direct-uploads`)
+    : path.resolve(process.env.STORAGE_DIR, `direct-uploads`);
 const vectorCachePath =
   process.env.NODE_ENV === "development"
     ? path.resolve(__dirname, `../../storage/vector-cache`)
@@ -468,6 +472,7 @@ module.exports = {
   normalizePath,
   isWithin,
   documentsPath,
+  directUploadsPath,
   hasVectorCachedFiles,
   purgeEntireVectorCache,
   getDocumentsByFolder,

From 3a8a72fad9eb7690ae2db6a488d327c5914af5a5 Mon Sep 17 00:00:00 2001
From: shatfield4 <seanhatfield5@gmail.com>
Date: Fri, 1 Aug 2025 17:27:27 -0700
Subject: [PATCH 04/19] add modal for user decision on overflow of context
 window

---
 .../DnDWrapper/FileUploadWarningModal.jsx     |  66 +++++++++
 .../ChatContainer/DnDWrapper/index.jsx        | 127 +++++++++++++++---
 2 files changed, 171 insertions(+), 22 deletions(-)
 create mode 100644 frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal.jsx

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal.jsx
new file mode 100644
index 00000000000..9d30fac564c
--- /dev/null
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal.jsx
@@ -0,0 +1,66 @@
+import { X } from "@phosphor-icons/react";
+import ModalWrapper from "@/components/ModalWrapper";
+
+export default function FileUploadWarningModal({
+  show,
+  onClose,
+  onContinue,
+  onEmbed,
+  tokenCount,
+  maxTokens,
+  fileCount = 1,
+}) {
+  if (!show) return null;
+
+  return (
+    <ModalWrapper isOpen={show}>
+      <div className="relative max-w-[600px] bg-theme-bg-primary rounded-lg shadow border border-theme-modal-border">
+        <div className="relative p-6 border-b border-theme-modal-border">
+          <div className="w-full flex gap-x-2 items-center">
+            <h3 className="text-xl font-semibold text-white overflow-hidden overflow-ellipsis whitespace-nowrap">
+              {fileCount === 1 ? 'File' : 'Files'} exceed{fileCount === 1 ? 's' : ''} context window
+            </h3>
+            <button
+              onClick={onClose}
+              type="button"
+              className="absolute top-4 right-4 transition-all duration-300 bg-transparent rounded-lg text-sm p-1 inline-flex items-center hover:bg-theme-modal-border hover:border-theme-modal-border hover:border-opacity-50 border-transparent border"
+            >
+              <X size={18} weight="bold" className="text-white" />
+            </button>
+          </div>
+        </div>
+
+        <div className="py-7 px-9 space-y-4">
+          <p className="text-white text-sm">
+            This document exceeds 80% of your context window ({tokenCount} &gt; {maxTokens} tokens).
+            Choose how you would like to proceed:
+          </p>
+        </div>
+
+        <div className="flex w-full justify-end items-center p-6 space-x-2 border-t border-theme-modal-border rounded-b">
+          <button
+            onClick={onClose}
+            type="button"
+            className="transition-all duration-300 bg-theme-modal-border text-white hover:opacity-60 px-4 py-2 rounded-lg text-sm"
+          >
+            Cancel
+          </button>
+          <button
+            onClick={onContinue}
+            type="button"
+            className="transition-all duration-300 bg-theme-modal-border text-white hover:opacity-60 px-4 py-2 rounded-lg text-sm"
+          >
+            Continue Anyway
+          </button>
+          <button
+            onClick={onEmbed}
+            type="button"
+            className="transition-all duration-300 bg-white text-black hover:opacity-60 px-4 py-2 rounded-lg text-sm"
+          >
+            Embed {fileCount === 1 ? 'File' : 'Files'}
+          </button>
+        </div>
+      </div>
+    </ModalWrapper>
+  );
+}
\ No newline at end of file
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index bee8ff7aa80..37607e48371 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -5,6 +5,7 @@ import { useDropzone } from "react-dropzone";
 import DndIcon from "./dnd-icon.png";
 import Workspace from "@/models/workspace";
 import useUser from "@/hooks/useUser";
+import FileUploadWarningModal from "./FileUploadWarningModal";
 
 export const DndUploaderContext = createContext();
 export const REMOVE_ATTACHMENT_EVENT = "ATTACHMENT_REMOVE";
@@ -33,8 +34,14 @@ export function DnDFileUploaderProvider({
   const [files, setFiles] = useState([]);
   const [ready, setReady] = useState(false);
   const [dragging, setDragging] = useState(false);
+  const [showWarningModal, setShowWarningModal] = useState(false);
+  const [pendingFiles, setPendingFiles] = useState([]);
+  const [tokenCount, setTokenCount] = useState(0);
   const { user } = useUser();
 
+  const contextWindow = 8000; // TODO: Get from workspace or system settings
+  const maxTokens = Math.floor(contextWindow * 0.8);
+
   useEffect(() => {
     System.checkDocumentProcessorOnline().then((status) => setReady(status));
   }, [user]);
@@ -208,35 +215,25 @@ export function DnDFileUploaderProvider({
             }
 
             // Check if any file exceeds context window
-            const tokenCount = data.files.reduce(
+            const newTokenCount = data.files.reduce(
               (sum, file) =>
                 sum + JSON.parse(file.metadata).token_count_estimate,
               0
             );
-            const contextWindow = 8000; // TODO: Get from workspace or system settings
-            const maxTokens = Math.floor(contextWindow * 0.8);
 
-            if (tokenCount > maxTokens) {
-              // Show alert dialog
-              const choice = window.confirm(
-                `This document exceeds 80% of your context window (${tokenCount} > ${maxTokens} tokens). Would you like to embed it anyway?`
-              );
 
-              if (!choice) {
-                // Delete parsed file and remove from UI
-                await Workspace.deleteParsedFile(
-                  workspace.slug,
-                  data.files[0].id
-                );
-                setFiles((prev) =>
-                  prev.filter((prevFile) => prevFile.uid !== attachment.uid)
-                );
-                return;
-              }
+            if (newTokenCount > maxTokens) {
+              setTokenCount((prev) => prev + newTokenCount);
+              setPendingFiles((prev) => [...prev, {
+                attachment,
+                parsedFileId: data.files[0].id,
+              }]);
+              setShowWarningModal(true);
+              return;
             }
 
-            // User chose to continue or file is within limits
-            // We already have the file parsed, just need to move and embed it
+            // File is within limits, proceed with embedding
+            // TODO: to be replaced with using same logic as pinning documents
             const embedResult = await Workspace.embedParsedFile(
               workspace.slug,
               data.files[0].id
@@ -269,10 +266,96 @@ export function DnDFileUploaderProvider({
     );
   }
 
+  // Handle modal actions
+  const handleCloseModal = async () => {
+    if (!pendingFiles.length) return;
+    // Delete all parsed files and remove them from UI
+    await Promise.all(
+      pendingFiles.map(file => Workspace.deleteParsedFile(workspace.slug, file.parsedFileId))
+    );
+    setFiles((prev) => prev.filter(prevFile =>
+      !pendingFiles.some(file => file.attachment.uid === prevFile.uid)
+    ));
+    setShowWarningModal(false);
+    setPendingFiles([]);
+    setTokenCount(0);
+  };
+
+  const handleContinueAnyway = async () => {
+    // TODO: to be replaced with using same logic as pinning documents
+    if (!pendingFiles.length) return;
+    // Embed all pending files
+    const results = await Promise.all(
+      pendingFiles.map(file =>
+        Workspace.embedParsedFile(workspace.slug, file.parsedFileId)
+      )
+    );
+
+    // Update status for all files
+    const fileUpdates = pendingFiles.map((file, i) => ({
+      uid: file.attachment.uid,
+      updates: {
+        status: results[i].response.ok ? "success" : "failed",
+        error: results[i].data?.error ?? null,
+        document: results[i].data?.document,
+      }
+    }));
+
+    setFiles((prev) =>
+      prev.map((prevFile) => {
+        const update = fileUpdates.find(f => f.uid === prevFile.uid);
+        return update ? { ...prevFile, ...update.updates } : prevFile;
+      })
+    );
+    setShowWarningModal(false);
+    setPendingFiles([]);
+    setTokenCount(0);
+  };
+
+
+  const handleEmbed = async () => {
+    if (!pendingFiles.length) return;
+    // Embed all pending files
+    const results = await Promise.all(
+      pendingFiles.map(file =>
+        Workspace.embedParsedFile(workspace.slug, file.parsedFileId)
+      )
+    );
+
+    // Update status for all files
+    const fileUpdates = pendingFiles.map((file, i) => ({
+      uid: file.attachment.uid,
+      updates: {
+        status: results[i].response.ok ? "success" : "failed",
+        error: results[i].data?.error ?? null,
+        document: results[i].data?.document,
+      }
+    }));
+
+    setFiles((prev) =>
+      prev.map((prevFile) => {
+        const update = fileUpdates.find(f => f.uid === prevFile.uid);
+        return update ? { ...prevFile, ...update.updates } : prevFile;
+      })
+    );
+    setShowWarningModal(false);
+    setPendingFiles([]);
+    setTokenCount(0);
+  };
+
   return (
     <DndUploaderContext.Provider
       value={{ files, ready, dragging, setDragging, onDrop, parseAttachments }}
     >
+      <FileUploadWarningModal
+        show={showWarningModal}
+        onClose={handleCloseModal}
+        onContinue={handleContinueAnyway}
+        onEmbed={handleEmbed}
+        tokenCount={tokenCount}
+        maxTokens={maxTokens}
+        fileCount={pendingFiles.length}
+      />
       {children}
     </DndUploaderContext.Provider>
   );
@@ -303,7 +386,7 @@ export default function DnDFileUploaderWrapper({ children }) {
       >
         <div className="w-full h-full flex justify-center items-center rounded-xl">
           <div className="flex flex-col gap-y-[14px] justify-center items-center">
-            <img src={DndIcon} width={69} height={69} />
+            <img src={DndIcon} width={69} height={69} alt="Drag and drop icon" />
             <p className="text-white text-[24px] font-semibold">
               Add {canUploadAll ? "anything" : "an image"}
             </p>

From 38706395b7ed650d0438fc32fb776f7826533c48 Mon Sep 17 00:00:00 2001
From: shatfield4 <seanhatfield5@gmail.com>
Date: Fri, 1 Aug 2025 17:28:09 -0700
Subject: [PATCH 05/19] lint

---
 .../DnDWrapper/FileUploadWarningModal.jsx     | 11 ++---
 .../ChatContainer/DnDWrapper/index.jsx        | 45 ++++++++++++-------
 2 files changed, 34 insertions(+), 22 deletions(-)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal.jsx
index 9d30fac564c..7340f50a87a 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal.jsx
@@ -18,7 +18,8 @@ export default function FileUploadWarningModal({
         <div className="relative p-6 border-b border-theme-modal-border">
           <div className="w-full flex gap-x-2 items-center">
             <h3 className="text-xl font-semibold text-white overflow-hidden overflow-ellipsis whitespace-nowrap">
-              {fileCount === 1 ? 'File' : 'Files'} exceed{fileCount === 1 ? 's' : ''} context window
+              {fileCount === 1 ? "File" : "Files"} exceed
+              {fileCount === 1 ? "s" : ""} context window
             </h3>
             <button
               onClick={onClose}
@@ -32,8 +33,8 @@ export default function FileUploadWarningModal({
 
         <div className="py-7 px-9 space-y-4">
           <p className="text-white text-sm">
-            This document exceeds 80% of your context window ({tokenCount} &gt; {maxTokens} tokens).
-            Choose how you would like to proceed:
+            This document exceeds 80% of your context window ({tokenCount} &gt;{" "}
+            {maxTokens} tokens). Choose how you would like to proceed:
           </p>
         </div>
 
@@ -57,10 +58,10 @@ export default function FileUploadWarningModal({
             type="button"
             className="transition-all duration-300 bg-white text-black hover:opacity-60 px-4 py-2 rounded-lg text-sm"
           >
-            Embed {fileCount === 1 ? 'File' : 'Files'}
+            Embed {fileCount === 1 ? "File" : "Files"}
           </button>
         </div>
       </div>
     </ModalWrapper>
   );
-}
\ No newline at end of file
+}
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index 37607e48371..66f6c0b8378 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -221,13 +221,15 @@ export function DnDFileUploaderProvider({
               0
             );
 
-
             if (newTokenCount > maxTokens) {
               setTokenCount((prev) => prev + newTokenCount);
-              setPendingFiles((prev) => [...prev, {
-                attachment,
-                parsedFileId: data.files[0].id,
-              }]);
+              setPendingFiles((prev) => [
+                ...prev,
+                {
+                  attachment,
+                  parsedFileId: data.files[0].id,
+                },
+              ]);
               setShowWarningModal(true);
               return;
             }
@@ -271,11 +273,16 @@ export function DnDFileUploaderProvider({
     if (!pendingFiles.length) return;
     // Delete all parsed files and remove them from UI
     await Promise.all(
-      pendingFiles.map(file => Workspace.deleteParsedFile(workspace.slug, file.parsedFileId))
+      pendingFiles.map((file) =>
+        Workspace.deleteParsedFile(workspace.slug, file.parsedFileId)
+      )
+    );
+    setFiles((prev) =>
+      prev.filter(
+        (prevFile) =>
+          !pendingFiles.some((file) => file.attachment.uid === prevFile.uid)
+      )
     );
-    setFiles((prev) => prev.filter(prevFile =>
-      !pendingFiles.some(file => file.attachment.uid === prevFile.uid)
-    ));
     setShowWarningModal(false);
     setPendingFiles([]);
     setTokenCount(0);
@@ -286,7 +293,7 @@ export function DnDFileUploaderProvider({
     if (!pendingFiles.length) return;
     // Embed all pending files
     const results = await Promise.all(
-      pendingFiles.map(file =>
+      pendingFiles.map((file) =>
         Workspace.embedParsedFile(workspace.slug, file.parsedFileId)
       )
     );
@@ -298,12 +305,12 @@ export function DnDFileUploaderProvider({
         status: results[i].response.ok ? "success" : "failed",
         error: results[i].data?.error ?? null,
         document: results[i].data?.document,
-      }
+      },
     }));
 
     setFiles((prev) =>
       prev.map((prevFile) => {
-        const update = fileUpdates.find(f => f.uid === prevFile.uid);
+        const update = fileUpdates.find((f) => f.uid === prevFile.uid);
         return update ? { ...prevFile, ...update.updates } : prevFile;
       })
     );
@@ -312,12 +319,11 @@ export function DnDFileUploaderProvider({
     setTokenCount(0);
   };
 
-
   const handleEmbed = async () => {
     if (!pendingFiles.length) return;
     // Embed all pending files
     const results = await Promise.all(
-      pendingFiles.map(file =>
+      pendingFiles.map((file) =>
         Workspace.embedParsedFile(workspace.slug, file.parsedFileId)
       )
     );
@@ -329,12 +335,12 @@ export function DnDFileUploaderProvider({
         status: results[i].response.ok ? "success" : "failed",
         error: results[i].data?.error ?? null,
         document: results[i].data?.document,
-      }
+      },
     }));
 
     setFiles((prev) =>
       prev.map((prevFile) => {
-        const update = fileUpdates.find(f => f.uid === prevFile.uid);
+        const update = fileUpdates.find((f) => f.uid === prevFile.uid);
         return update ? { ...prevFile, ...update.updates } : prevFile;
       })
     );
@@ -386,7 +392,12 @@ export default function DnDFileUploaderWrapper({ children }) {
       >
         <div className="w-full h-full flex justify-center items-center rounded-xl">
           <div className="flex flex-col gap-y-[14px] justify-center items-center">
-            <img src={DndIcon} width={69} height={69} alt="Drag and drop icon" />
+            <img
+              src={DndIcon}
+              width={69}
+              height={69}
+              alt="Drag and drop icon"
+            />
             <p className="text-white text-[24px] font-semibold">
               Add {canUploadAll ? "anything" : "an image"}
             </p>

From dd03431f2d71d73e74cd8011d82dc684f4d25f5f Mon Sep 17 00:00:00 2001
From: shatfield4 <seanhatfield5@gmail.com>
Date: Mon, 4 Aug 2025 18:14:51 -0700
Subject: [PATCH 06/19] dynamic fetching of provider/model combo + inject
 parsed documents

---
 .../ChatContainer/DnDWrapper/index.jsx        | 45 ++++++++-----------
 server/models/workspace.js                    | 28 +++++++++++-
 server/models/workspaceParsedFiles.js         | 34 ++++++++++++++
 server/utils/chats/apiChatHandler.js          | 33 ++++++++++++++
 server/utils/chats/stream.js                  | 17 +++++++
 5 files changed, 130 insertions(+), 27 deletions(-)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index 66f6c0b8378..f96adc3cded 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -39,7 +39,7 @@ export function DnDFileUploaderProvider({
   const [tokenCount, setTokenCount] = useState(0);
   const { user } = useUser();
 
-  const contextWindow = 8000; // TODO: Get from workspace or system settings
+  const contextWindow = workspace?.contextWindow || 8000;
   const maxTokens = Math.floor(contextWindow * 0.8);
 
   useEffect(() => {
@@ -214,12 +214,10 @@ export function DnDFileUploaderProvider({
               return;
             }
 
-            // Check if any file exceeds context window
-            const newTokenCount = data.files.reduce(
-              (sum, file) =>
-                sum + JSON.parse(file.metadata).token_count_estimate,
-              0
-            );
+            // Check if files exceed context window
+            const newTokenCount = data.files.reduce((sum, file) => {
+              return sum + (file.tokenCountEstimate || 0);
+            }, 0);
 
             if (newTokenCount > maxTokens) {
               setTokenCount((prev) => prev + newTokenCount);
@@ -234,16 +232,12 @@ export function DnDFileUploaderProvider({
               return;
             }
 
-            // File is within limits, proceed with embedding
-            // TODO: to be replaced with using same logic as pinning documents
-            const embedResult = await Workspace.embedParsedFile(
-              workspace.slug,
-              data.files[0].id
-            );
+            // File is within limits, keep in parsed files
+            const result = { success: true, document: data.files[0] };
             const updates = {
-              status: embedResult.response.ok ? "success" : "failed",
-              error: embedResult.data?.error ?? null,
-              document: embedResult.data?.document,
+              status: result.success ? "success" : "failed",
+              error: result.error ?? null,
+              document: result.document,
             };
 
             setFiles((prev) =>
@@ -289,22 +283,21 @@ export function DnDFileUploaderProvider({
   };
 
   const handleContinueAnyway = async () => {
-    // TODO: to be replaced with using same logic as pinning documents
     if (!pendingFiles.length) return;
-    // Embed all pending files
-    const results = await Promise.all(
-      pendingFiles.map((file) =>
-        Workspace.embedParsedFile(workspace.slug, file.parsedFileId)
-      )
-    );
+    // Use direct upload with pinning for all pending files
+    // Files are already in WorkspaceParsedFiles, just return success
+    const results = pendingFiles.map((file) => ({
+      success: true,
+      document: { id: file.parsedFileId },
+    }));
 
     // Update status for all files
     const fileUpdates = pendingFiles.map((file, i) => ({
       uid: file.attachment.uid,
       updates: {
-        status: results[i].response.ok ? "success" : "failed",
-        error: results[i].data?.error ?? null,
-        document: results[i].data?.document,
+        status: results[i].success ? "success" : "failed",
+        error: results[i].error ?? null,
+        document: results[i].document,
       },
     }));
 
diff --git a/server/models/workspace.js b/server/models/workspace.js
index c195b176143..01463b41822 100644
--- a/server/models/workspace.js
+++ b/server/models/workspace.js
@@ -283,6 +283,7 @@ const Workspace = {
       return {
         ...workspace,
         documents: await Document.forWorkspace(workspace.id),
+        contextWindow: this._getContextWindow(workspace),
       };
     } catch (error) {
       console.error(error.message);
@@ -290,6 +291,26 @@ const Workspace = {
     }
   },
 
+  /**
+   * Get the context window size for a workspace based on its provider and model settings.
+   * If the workspace has no provider/model set, falls back to system defaults.
+   * @param {Workspace} workspace - The workspace to get context window for
+   * @returns {number} The context window size in tokens (defaults to 8000 if no provider/model found)
+   * @private
+   */
+  _getContextWindow: function (workspace) {
+    const {
+      getLLMProviderClass,
+      getBaseLLMProviderModel,
+    } = require("../utils/helpers");
+    const provider =
+      workspace.chatProvider || process.env.LLM_PROVIDER || "openai";
+    const LLMProvider = getLLMProviderClass({ provider });
+    const model =
+      workspace.chatModel || getBaseLLMProviderModel({ provider }) || "gpt-4";
+    return LLMProvider?.promptWindowLimit?.(model) || 8000;
+  },
+
   get: async function (clause = {}) {
     try {
       const workspace = await prisma.workspaces.findFirst({
@@ -299,7 +320,12 @@ const Workspace = {
         },
       });
 
-      return workspace || null;
+      if (!workspace) return null;
+
+      return {
+        ...workspace,
+        contextWindow: this._getContextWindow(workspace),
+      };
     } catch (error) {
       console.error(error.message);
       return null;
diff --git a/server/models/workspaceParsedFiles.js b/server/models/workspaceParsedFiles.js
index 52121c7bba4..45daaf79b3b 100644
--- a/server/models/workspaceParsedFiles.js
+++ b/server/models/workspaceParsedFiles.js
@@ -137,6 +137,40 @@ const WorkspaceParsedFiles = {
       await this.delete({ id: parseInt(fileId) });
     }
   },
+
+  getContextFiles: async function (workspaceId, threadId = null) {
+    try {
+      const files = await this.where({
+        workspaceId: parseInt(workspaceId),
+        threadId: threadId ? parseInt(threadId) : null,
+      });
+
+      const results = [];
+      for (const file of files) {
+        const metadata = safeJsonParse(file.metadata, {});
+        const location = metadata.location;
+        if (!location) continue;
+
+        const sourceFile = path.join(directUploadsPath, location.split("/")[1]);
+        if (!fs.existsSync(sourceFile)) continue;
+
+        const content = fs.readFileSync(sourceFile, "utf-8");
+        const data = safeJsonParse(content, null);
+        if (!data?.pageContent) continue;
+
+        results.push({
+          pageContent: data.pageContent,
+          token_count_estimate: file.tokenCountEstimate,
+          ...metadata,
+        });
+      }
+
+      return results;
+    } catch (error) {
+      console.error("Failed to get context files:", error);
+      return [];
+    }
+  },
 };
 
 module.exports = { WorkspaceParsedFiles };
diff --git a/server/utils/chats/apiChatHandler.js b/server/utils/chats/apiChatHandler.js
index 43a87d60c14..09569311c65 100644
--- a/server/utils/chats/apiChatHandler.js
+++ b/server/utils/chats/apiChatHandler.js
@@ -1,6 +1,7 @@
 const { v4: uuidv4 } = require("uuid");
 const { DocumentManager } = require("../DocumentManager");
 const { WorkspaceChats } = require("../../models/workspaceChats");
+const { WorkspaceParsedFiles } = require("../../models/workspaceParsedFiles");
 const { getVectorDbClass, getLLMProvider } = require("../helpers");
 const { writeResponseChunk } = require("../helpers/chat/responses");
 const {
@@ -208,6 +209,22 @@ async function chatSync({
       });
     });
 
+  // Inject any parsed files for this workspace/thread/user
+  const parsedFiles = await WorkspaceParsedFiles.getContextFiles(
+    workspace.id,
+    thread?.id || null,
+    user?.id || null
+  );
+  parsedFiles.forEach((doc) => {
+    const { pageContent, ...metadata } = doc;
+    contextTexts.push(doc.pageContent);
+    sources.push({
+      text:
+        pageContent.slice(0, 1_000) + "...continued on in source document...",
+      ...metadata,
+    });
+  });
+
   const vectorSearchResults =
     embeddingsCount !== 0
       ? await VectorDb.performSimilaritySearch({
@@ -544,6 +561,22 @@ async function streamChat({
       });
     });
 
+  // Inject any parsed files for this workspace/thread/user
+  const parsedFiles = await WorkspaceParsedFiles.getContextFiles(
+    workspace.id,
+    thread?.id || null,
+    user?.id || null
+  );
+  parsedFiles.forEach((doc) => {
+    const { pageContent, ...metadata } = doc;
+    contextTexts.push(doc.pageContent);
+    sources.push({
+      text:
+        pageContent.slice(0, 1_000) + "...continued on in source document...",
+      ...metadata,
+    });
+  });
+
   const vectorSearchResults =
     embeddingsCount !== 0
       ? await VectorDb.performSimilaritySearch({
diff --git a/server/utils/chats/stream.js b/server/utils/chats/stream.js
index 0ecf86c8141..597b95b825f 100644
--- a/server/utils/chats/stream.js
+++ b/server/utils/chats/stream.js
@@ -1,6 +1,7 @@
 const { v4: uuidv4 } = require("uuid");
 const { DocumentManager } = require("../DocumentManager");
 const { WorkspaceChats } = require("../../models/workspaceChats");
+const { WorkspaceParsedFiles } = require("../../models/workspaceParsedFiles");
 const { getVectorDbClass, getLLMProvider } = require("../helpers");
 const { writeResponseChunk } = require("../helpers/chat/responses");
 const { grepAgents } = require("./agents");
@@ -130,6 +131,22 @@ async function streamChatWithWorkspace(
       });
     });
 
+  // Inject any parsed files for this workspace/thread/user
+  const parsedFiles = await WorkspaceParsedFiles.getContextFiles(
+    workspace.id,
+    thread?.id || null,
+    user?.id || null
+  );
+  parsedFiles.forEach((doc) => {
+    const { pageContent, ...metadata } = doc;
+    contextTexts.push(doc.pageContent);
+    sources.push({
+      text:
+        pageContent.slice(0, 1_000) + "...continued on in source document...",
+      ...metadata,
+    });
+  });
+
   const vectorSearchResults =
     embeddingsCount !== 0
       ? await VectorDb.performSimilaritySearch({

From 0323aa47bcaa941bba3013c4ac044df343f8cd1d Mon Sep 17 00:00:00 2001
From: shatfield4 <seanhatfield5@gmail.com>
Date: Mon, 4 Aug 2025 18:17:21 -0700
Subject: [PATCH 07/19] remove unneeded comments

---
 .../WorkspaceChat/ChatContainer/DnDWrapper/index.jsx           | 3 ---
 1 file changed, 3 deletions(-)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index f96adc3cded..c9d3711a41b 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -284,14 +284,11 @@ export function DnDFileUploaderProvider({
 
   const handleContinueAnyway = async () => {
     if (!pendingFiles.length) return;
-    // Use direct upload with pinning for all pending files
-    // Files are already in WorkspaceParsedFiles, just return success
     const results = pendingFiles.map((file) => ({
       success: true,
       document: { id: file.parsedFileId },
     }));
 
-    // Update status for all files
     const fileUpdates = pendingFiles.map((file, i) => ({
       uid: file.attachment.uid,
       updates: {

From b3f990a44da29a33158cf07b5e483e243370a378 Mon Sep 17 00:00:00 2001
From: shatfield4 <seanhatfield5@gmail.com>
Date: Tue, 5 Aug 2025 17:33:34 -0700
Subject: [PATCH 08/19] popup ui for attaching/removing files + warning to
 embed + wip fetching states on update

---
 .../ChatContainer/DnDWrapper/index.jsx        |   4 +-
 .../AttachItem/ParsedFilesMenu/index.jsx      | 134 ++++++++++++++++++
 .../PromptInput/AttachItem/index.jsx          |  32 ++++-
 .../ChatContainer/PromptInput/index.jsx       |   3 +-
 .../WorkspaceChat/ChatContainer/index.jsx     |   1 +
 frontend/src/models/workspace.js              |  11 ++
 server/endpoints/workspaces.js                |  49 +++++--
 server/models/workspace.js                    |  31 +++-
 server/models/workspaceParsedFiles.js         |  25 ++++
 server/utils/chats/apiChatHandler.js          |  32 -----
 10 files changed, 270 insertions(+), 52 deletions(-)
 create mode 100644 frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index c9d3711a41b..20bc8e885a0 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -39,7 +39,9 @@ export function DnDFileUploaderProvider({
   const [tokenCount, setTokenCount] = useState(0);
   const { user } = useUser();
 
-  const contextWindow = workspace?.contextWindow || 8000;
+  // const contextWindow = workspace?.contextWindow || Number.POSITIVE_INFINITY;
+  const contextWindow = 8000;
+  console.log("workspace", workspace);
   const maxTokens = Math.floor(contextWindow * 0.8);
 
   useEffect(() => {
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
new file mode 100644
index 00000000000..11db72bf3f7
--- /dev/null
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
@@ -0,0 +1,134 @@
+import { useEffect, useState } from "react";
+import { X, CircleNotch, Warning } from "@phosphor-icons/react";
+import Workspace from "@/models/workspace";
+import { useParams } from "react-router-dom";
+import { nFormatter } from "@/utils/numbers";
+
+export default function ParsedFilesMenu({ workspace, onEmbeddingChange }) {
+  const { threadSlug = null } = useParams();
+  const [files, setFiles] = useState([]);
+  const [isLoading, setIsLoading] = useState(true);
+  const [isEmbedding, setIsEmbedding] = useState(false);
+  const [embedProgress, setEmbedProgress] = useState(1);
+
+  const contextWindow = workspace?.contextWindow || Infinity;
+  const currentTokens = workspace?.currentContextTokenCount || 0;
+  const isOverflowing = currentTokens >= contextWindow * 0.8;
+
+  useEffect(() => {
+    async function fetchFiles() {
+      if (!workspace?.slug) return;
+      const parsedFiles = await Workspace.getParsedFiles(
+        workspace.slug,
+        threadSlug
+      );
+      setFiles(parsedFiles);
+      setIsLoading(false);
+    }
+    fetchFiles();
+  }, [workspace, threadSlug]);
+
+  async function handleRemove(file) {
+    if (!file?.id) return;
+    await Workspace.deleteParsedFile(workspace.slug, file.id);
+    setFiles((prev) => prev.filter((f) => f.id !== file.id));
+  }
+
+  async function handleEmbed() {
+    if (!files.length) return;
+    setIsEmbedding(true);
+    onEmbeddingChange?.(true);
+    setEmbedProgress(1);
+    try {
+      let completed = 0;
+      await Promise.all(
+        files.map((file) =>
+          Workspace.embedParsedFile(workspace.slug, file.id).then(() => {
+            completed++;
+            setEmbedProgress(completed + 1);
+          })
+        )
+      );
+      setFiles([]);
+    } catch (error) {
+      console.error("Failed to embed files:", error);
+    }
+    setIsEmbedding(false);
+    onEmbeddingChange?.(false);
+    setEmbedProgress(1);
+  }
+
+  return (
+    <div className="flex flex-col gap-2 p-2">
+      <div className="flex items-center justify-between">
+        <div className="text-sm font-medium text-theme-text-primary">
+          Current Context
+        </div>
+        <div className="text-xs text-theme-text-secondary">
+          {nFormatter(currentTokens)} / {nFormatter(contextWindow)} tokens
+        </div>
+      </div>
+      {isOverflowing && (
+        <div className="flex flex-col gap-2 p-2 bg-theme-bg-secondary light:bg-theme-bg-primary rounded">
+          <div className="flex items-start gap-2">
+            <Warning
+              className="flex-shrink-0 mt-1 text-yellow-500 light:text-yellow-600"
+              size={16}
+            />
+            <div className="text-xs text-theme-text-primary">
+              Your context window is getting full. Some files may be truncated
+              or excluded from chat responses. We recommend embedding these
+              files directly into your workspace for better results.
+            </div>
+          </div>
+          <button
+            onClick={handleEmbed}
+            disabled={isEmbedding}
+            className="flex items-center justify-center gap-2 px-3 py-2 text-xs bg-primary-button hover:bg-theme-button-primary-hover text-white font-medium rounded transition-colors shadow-sm"
+          >
+            {isEmbedding ? (
+              <>
+                <CircleNotch size={14} className="animate-spin" />
+                Embedding {embedProgress} of {files.length} files...
+              </>
+            ) : (
+              "Embed Files into Workspace"
+            )}
+          </button>
+        </div>
+      )}
+      <div className="flex flex-col gap-1 max-h-[300px] overflow-y-auto">
+        {files.map((file, i) => (
+          <div
+            key={i}
+            className={
+              "flex items-center justify-between gap-2 p-2 text-xs bg-theme-bg-secondary rounded"
+            }
+          >
+            <div className="truncate flex-1 text-theme-text-primary">
+              {file.title}
+            </div>
+            <button
+              onClick={() => handleRemove(file)}
+              className="text-theme-text-secondary hover:text-theme-text-primary"
+              disabled={isEmbedding}
+            >
+              <X size={16} />
+            </button>
+          </div>
+        ))}
+        {isLoading && (
+          <div className="flex items-center justify-center gap-2 text-xs text-theme-text-secondary text-center py-2">
+            <CircleNotch size={16} className="animate-spin" />
+            Loading...
+          </div>
+        )}
+        {!isLoading && files.length === 0 && (
+          <div className="text-xs text-theme-text-secondary text-center py-2">
+            No files found
+          </div>
+        )}
+      </div>
+    </div>
+  );
+}
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
index 81a402d2c82..0c00e526b51 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
@@ -2,22 +2,28 @@ import useUser from "@/hooks/useUser";
 import { PaperclipHorizontal } from "@phosphor-icons/react";
 import { Tooltip } from "react-tooltip";
 import { useTranslation } from "react-i18next";
+import { useRef, useState } from "react";
+import { useTheme } from "@/hooks/useTheme";
+import ParsedFilesMenu from "./ParsedFilesMenu";
 
 /**
  * This is a simple proxy component that clicks on the DnD file uploader for the user.
  * @returns
  */
-export default function AttachItem() {
+export default function AttachItem({ workspace }) {
   const { t } = useTranslation();
   const { user } = useUser();
+  const tooltipRef = useRef(null);
+  const { theme } = useTheme();
+  const [isEmbedding, setIsEmbedding] = useState(false);
+
   if (!!user && user.role === "default") return null;
 
   return (
     <>
       <button
         id="attach-item-btn"
-        data-tooltip-id="attach-item-btn"
-        data-tooltip-content={t("chat_window.attach_file")}
+        data-tooltip-id="tooltip-attach-item-btn"
         aria-label={t("chat_window.attach_file")}
         type="button"
         onClick={(e) => {
@@ -33,11 +39,25 @@ export default function AttachItem() {
         />
       </button>
       <Tooltip
-        id="attach-item-btn"
+        ref={tooltipRef}
+        id="tooltip-attach-item-btn"
         place="top"
+        opacity={1}
+        clickable={!isEmbedding}
         delayShow={300}
-        className="tooltip !text-xs z-[99]"
-      />
+        delayHide={isEmbedding ? null : 800}
+        arrowColor={
+          theme === "light"
+            ? "var(--theme-modal-border)"
+            : "var(--theme-bg-primary)"
+        }
+        className="z-99 !w-[400px] !bg-theme-bg-primary !px-[5px] !rounded-lg !pointer-events-auto light:border-2 light:border-theme-modal-border"
+      >
+        <ParsedFilesMenu
+          workspace={workspace}
+          onEmbeddingChange={setIsEmbedding}
+        />
+      </Tooltip>
     </>
   );
 }
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/index.jsx
index 2a716aad8c9..68ee6d5b2a3 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/index.jsx
@@ -35,6 +35,7 @@ export default function PromptInput({
   isStreaming,
   sendCommand,
   attachments = [],
+  workspace,
 }) {
   const { t } = useTranslation();
   const { isDisabled } = useIsDisabled();
@@ -318,7 +319,7 @@ export default function PromptInput({
             </div>
             <div className="flex justify-between py-3.5 mx-3 mb-1">
               <div className="flex gap-x-2">
-                <AttachItem />
+                <AttachItem workspace={workspace} />
                 <SlashCommandsButton
                   showing={showSlashCommand}
                   setShowSlashCommand={setShowSlashCommand}
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
index 7feb753db59..9d021a6de01 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
@@ -321,6 +321,7 @@ export default function ChatContainer({ workspace, knownHistory = [] }) {
           isStreaming={loadingResponse}
           sendCommand={sendCommand}
           attachments={files}
+          workspace={workspace}
         />
       </DnDFileUploaderWrapper>
       <ChatTooltips />
diff --git a/frontend/src/models/workspace.js b/frontend/src/models/workspace.js
index 5bdbbe552d0..c83f56a0f9e 100644
--- a/frontend/src/models/workspace.js
+++ b/frontend/src/models/workspace.js
@@ -260,6 +260,17 @@ const Workspace = {
     const data = await response.json();
     return { response, data };
   },
+
+  getParsedFiles: async function (slug, threadSlug = null) {
+    const response = await fetch(`${API_BASE}/workspace/${slug}/parsed-files`, {
+      method: "POST",
+      headers: baseHeaders(),
+      body: JSON.stringify({ threadSlug }),
+    });
+
+    const data = await response.json();
+    return data.files || [];
+  },
   uploadLink: async function (slug, link) {
     const response = await fetch(`${API_BASE}/workspace/${slug}/upload-link`, {
       method: "POST",
diff --git a/server/endpoints/workspaces.js b/server/endpoints/workspaces.js
index 20015cd5e7e..2d5c06eaf84 100644
--- a/server/endpoints/workspaces.js
+++ b/server/endpoints/workspaces.js
@@ -44,6 +44,41 @@ function workspaceEndpoints(app) {
 
   const responseCache = new Map();
 
+  app.post(
+    "/workspace/:slug/parsed-files",
+    [validatedRequest],
+    async (request, response) => {
+      try {
+        const { slug = null } = request.params;
+        const { threadSlug = null } = reqBody(request);
+        const user = await userFromSession(request, response);
+
+        const workspace = multiUserMode(response)
+          ? await Workspace.getWithUser(user, { slug })
+          : await Workspace.get({ slug });
+
+        if (!workspace) {
+          response.sendStatus(400).end();
+          return;
+        }
+
+        const thread = threadSlug
+          ? await WorkspaceThread.get({ slug: threadSlug })
+          : null;
+
+        const files = await WorkspaceParsedFiles.getContextMetadata(
+          workspace.id,
+          thread?.id || null
+        );
+
+        response.status(200).json({ files });
+      } catch (e) {
+        console.error(e.message, e);
+        response.sendStatus(500).end();
+      }
+    }
+  );
+
   app.post(
     "/workspace/new",
     [validatedRequest, flexUserRoleValid([ROLES.admin, ROLES.manager])],
@@ -968,13 +1003,11 @@ function workspaceEndpoints(app) {
 
         // Get threadId we are branching from if that request body is sent
         // and is a valid thread slug.
-        const threadId = !!threadSlug
-          ? (
-              await WorkspaceThread.get({
-                slug: String(threadSlug),
-                workspace_id: workspace.id,
-              })
-            )?.id ?? null
+        const threadId = threadSlug
+          ? await WorkspaceThread.get({
+              slug: String(threadSlug),
+              workspace_id: workspace.id,
+            }).then((thread) => thread?.id || null)
           : null;
         const chatsToFork = await WorkspaceChats.where(
           {
@@ -1009,7 +1042,7 @@ function workspaceEndpoints(app) {
         });
         await WorkspaceChats.bulkCreate(chatsData);
         await WorkspaceThread.update(newThread, {
-          name: !!lastMessageText
+          name: lastMessageText
             ? truncate(lastMessageText, 22)
             : "Forked Thread",
         });
diff --git a/server/models/workspace.js b/server/models/workspace.js
index 01463b41822..0ddd1fbb77c 100644
--- a/server/models/workspace.js
+++ b/server/models/workspace.js
@@ -284,6 +284,9 @@ const Workspace = {
         ...workspace,
         documents: await Document.forWorkspace(workspace.id),
         contextWindow: this._getContextWindow(workspace),
+        currentContextTokenCount: await this._getCurrentContextTokenCount(
+          workspace.id
+        ),
       };
     } catch (error) {
       console.error(error.message);
@@ -291,6 +294,22 @@ const Workspace = {
     }
   },
 
+  /**
+   * Get the total token count of all parsed files in a workspace/thread
+   * @param {number} workspaceId - The ID of the workspace
+   * @param {number|null} threadId - Optional thread ID to filter by
+   * @returns {Promise<number>} Total token count of all files
+   * @private
+   */
+  async _getCurrentContextTokenCount(workspaceId, threadId = null) {
+    const { WorkspaceParsedFiles } = require("./workspaceParsedFiles");
+    const files = await WorkspaceParsedFiles.where({
+      workspaceId: Number(workspaceId),
+      threadId: threadId ? Number(threadId) : null,
+    });
+    return files.reduce((sum, file) => sum + (file.tokenCountEstimate || 0), 0);
+  },
+
   /**
    * Get the context window size for a workspace based on its provider and model settings.
    * If the workspace has no provider/model set, falls back to system defaults.
@@ -303,12 +322,13 @@ const Workspace = {
       getLLMProviderClass,
       getBaseLLMProviderModel,
     } = require("../utils/helpers");
-    const provider =
-      workspace.chatProvider || process.env.LLM_PROVIDER || "openai";
+    const provider = workspace.chatProvider || process.env.LLM_PROVIDER || null;
     const LLMProvider = getLLMProviderClass({ provider });
     const model =
-      workspace.chatModel || getBaseLLMProviderModel({ provider }) || "gpt-4";
-    return LLMProvider?.promptWindowLimit?.(model) || 8000;
+      workspace.chatModel || getBaseLLMProviderModel({ provider }) || null;
+
+    if (!provider || !model) return Number.POSITIVE_INFINITY;
+    return LLMProvider?.promptWindowLimit?.(model) || Number.POSITIVE_INFINITY;
   },
 
   get: async function (clause = {}) {
@@ -325,6 +345,9 @@ const Workspace = {
       return {
         ...workspace,
         contextWindow: this._getContextWindow(workspace),
+        currentContextTokenCount: await this._getCurrentContextTokenCount(
+          workspace.id
+        ),
       };
     } catch (error) {
       console.error(error.message);
diff --git a/server/models/workspaceParsedFiles.js b/server/models/workspaceParsedFiles.js
index 45daaf79b3b..b7739cb5ce1 100644
--- a/server/models/workspaceParsedFiles.js
+++ b/server/models/workspaceParsedFiles.js
@@ -138,6 +138,31 @@ const WorkspaceParsedFiles = {
     }
   },
 
+  getContextMetadata: async function (workspaceId, threadId = null) {
+    try {
+      const files = await this.where({
+        workspaceId: parseInt(workspaceId),
+        threadId: threadId ? parseInt(threadId) : null,
+      });
+
+      const results = [];
+      for (const file of files) {
+        const metadata = safeJsonParse(file.metadata, {});
+        results.push({
+          id: file.id,
+          title: metadata.title || metadata.location,
+          location: metadata.location,
+          token_count_estimate: file.tokenCountEstimate,
+        });
+      }
+
+      return results;
+    } catch (error) {
+      console.error("Failed to get context metadata:", error);
+      return [];
+    }
+  },
+
   getContextFiles: async function (workspaceId, threadId = null) {
     try {
       const files = await this.where({
diff --git a/server/utils/chats/apiChatHandler.js b/server/utils/chats/apiChatHandler.js
index 09569311c65..122674c7140 100644
--- a/server/utils/chats/apiChatHandler.js
+++ b/server/utils/chats/apiChatHandler.js
@@ -209,22 +209,6 @@ async function chatSync({
       });
     });
 
-  // Inject any parsed files for this workspace/thread/user
-  const parsedFiles = await WorkspaceParsedFiles.getContextFiles(
-    workspace.id,
-    thread?.id || null,
-    user?.id || null
-  );
-  parsedFiles.forEach((doc) => {
-    const { pageContent, ...metadata } = doc;
-    contextTexts.push(doc.pageContent);
-    sources.push({
-      text:
-        pageContent.slice(0, 1_000) + "...continued on in source document...",
-      ...metadata,
-    });
-  });
-
   const vectorSearchResults =
     embeddingsCount !== 0
       ? await VectorDb.performSimilaritySearch({
@@ -561,22 +545,6 @@ async function streamChat({
       });
     });
 
-  // Inject any parsed files for this workspace/thread/user
-  const parsedFiles = await WorkspaceParsedFiles.getContextFiles(
-    workspace.id,
-    thread?.id || null,
-    user?.id || null
-  );
-  parsedFiles.forEach((doc) => {
-    const { pageContent, ...metadata } = doc;
-    contextTexts.push(doc.pageContent);
-    sources.push({
-      text:
-        pageContent.slice(0, 1_000) + "...continued on in source document...",
-      ...metadata,
-    });
-  });
-
   const vectorSearchResults =
     embeddingsCount !== 0
       ? await VectorDb.performSimilaritySearch({

From 163f11664a569eebb94cac8bdb520091a9f59d68 Mon Sep 17 00:00:00 2001
From: shatfield4 <seanhatfield5@gmail.com>
Date: Wed, 6 Aug 2025 13:09:32 -0700
Subject: [PATCH 09/19] remove prop drilling, fetch files/limits directly in
 attach files popup

---
 .../AttachItem/ParsedFilesMenu/index.jsx      | 14 +++++-----
 .../PromptInput/AttachItem/index.jsx          |  7 ++---
 .../ChatContainer/PromptInput/index.jsx       |  3 +--
 .../WorkspaceChat/ChatContainer/index.jsx     |  1 -
 server/endpoints/workspaces.js                | 27 +++++++++++--------
 server/models/workspaceParsedFiles.js         | 19 ++++++++++---
 6 files changed, 42 insertions(+), 29 deletions(-)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
index 11db72bf3f7..a90d5b19a1b 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
@@ -10,19 +10,19 @@ export default function ParsedFilesMenu({ workspace, onEmbeddingChange }) {
   const [isLoading, setIsLoading] = useState(true);
   const [isEmbedding, setIsEmbedding] = useState(false);
   const [embedProgress, setEmbedProgress] = useState(1);
+  const [contextWindow, setContextWindow] = useState(Infinity);
+  const [currentTokens, setCurrentTokens] = useState(0);
 
-  const contextWindow = workspace?.contextWindow || Infinity;
-  const currentTokens = workspace?.currentContextTokenCount || 0;
   const isOverflowing = currentTokens >= contextWindow * 0.8;
 
   useEffect(() => {
     async function fetchFiles() {
       if (!workspace?.slug) return;
-      const parsedFiles = await Workspace.getParsedFiles(
-        workspace.slug,
-        threadSlug
-      );
-      setFiles(parsedFiles);
+      const { files, contextWindow, currentContextTokenCount } =
+        await Workspace.getParsedFiles(workspace.slug, threadSlug);
+      setFiles(files);
+      setContextWindow(contextWindow);
+      setCurrentTokens(currentContextTokenCount);
       setIsLoading(false);
     }
     fetchFiles();
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
index 0c00e526b51..5befc498cad 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
@@ -10,7 +10,7 @@ import ParsedFilesMenu from "./ParsedFilesMenu";
  * This is a simple proxy component that clicks on the DnD file uploader for the user.
  * @returns
  */
-export default function AttachItem({ workspace }) {
+export default function AttachItem() {
   const { t } = useTranslation();
   const { user } = useUser();
   const tooltipRef = useRef(null);
@@ -53,10 +53,7 @@ export default function AttachItem({ workspace }) {
         }
         className="z-99 !w-[400px] !bg-theme-bg-primary !px-[5px] !rounded-lg !pointer-events-auto light:border-2 light:border-theme-modal-border"
       >
-        <ParsedFilesMenu
-          workspace={workspace}
-          onEmbeddingChange={setIsEmbedding}
-        />
+        <ParsedFilesMenu onEmbeddingChange={setIsEmbedding} />
       </Tooltip>
     </>
   );
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/index.jsx
index 68ee6d5b2a3..2a716aad8c9 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/index.jsx
@@ -35,7 +35,6 @@ export default function PromptInput({
   isStreaming,
   sendCommand,
   attachments = [],
-  workspace,
 }) {
   const { t } = useTranslation();
   const { isDisabled } = useIsDisabled();
@@ -319,7 +318,7 @@ export default function PromptInput({
             </div>
             <div className="flex justify-between py-3.5 mx-3 mb-1">
               <div className="flex gap-x-2">
-                <AttachItem workspace={workspace} />
+                <AttachItem />
                 <SlashCommandsButton
                   showing={showSlashCommand}
                   setShowSlashCommand={setShowSlashCommand}
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
index 9d021a6de01..7feb753db59 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
@@ -321,7 +321,6 @@ export default function ChatContainer({ workspace, knownHistory = [] }) {
           isStreaming={loadingResponse}
           sendCommand={sendCommand}
           attachments={files}
-          workspace={workspace}
         />
       </DnDFileUploaderWrapper>
       <ChatTooltips />
diff --git a/server/endpoints/workspaces.js b/server/endpoints/workspaces.js
index 2d5c06eaf84..7ca0cc67da5 100644
--- a/server/endpoints/workspaces.js
+++ b/server/endpoints/workspaces.js
@@ -66,12 +66,15 @@ function workspaceEndpoints(app) {
           ? await WorkspaceThread.get({ slug: threadSlug })
           : null;
 
-        const files = await WorkspaceParsedFiles.getContextMetadata(
-          workspace.id,
-          thread?.id || null
-        );
+        const { files, contextWindow, currentContextTokenCount } =
+          await WorkspaceParsedFiles.getContextMetadataAndLimits(
+            workspace.id,
+            thread?.id || null
+          );
 
-        response.status(200).json({ files });
+        response
+          .status(200)
+          .json({ files, contextWindow, currentContextTokenCount });
       } catch (e) {
         console.error(e.message, e);
         response.sendStatus(500).end();
@@ -1003,11 +1006,13 @@ function workspaceEndpoints(app) {
 
         // Get threadId we are branching from if that request body is sent
         // and is a valid thread slug.
-        const threadId = threadSlug
-          ? await WorkspaceThread.get({
-              slug: String(threadSlug),
-              workspace_id: workspace.id,
-            }).then((thread) => thread?.id || null)
+        const threadId = !!threadSlug
+          ? (
+              await WorkspaceThread.get({
+                slug: String(threadSlug),
+                workspace_id: workspace.id,
+              })
+            )?.id ?? null
           : null;
         const chatsToFork = await WorkspaceChats.where(
           {
@@ -1042,7 +1047,7 @@ function workspaceEndpoints(app) {
         });
         await WorkspaceChats.bulkCreate(chatsData);
         await WorkspaceThread.update(newThread, {
-          name: lastMessageText
+          name: !!lastMessageText
             ? truncate(lastMessageText, 22)
             : "Forked Thread",
         });
diff --git a/server/models/workspaceParsedFiles.js b/server/models/workspaceParsedFiles.js
index b7739cb5ce1..888489c9e74 100644
--- a/server/models/workspaceParsedFiles.js
+++ b/server/models/workspaceParsedFiles.js
@@ -138,16 +138,21 @@ const WorkspaceParsedFiles = {
     }
   },
 
-  getContextMetadata: async function (workspaceId, threadId = null) {
+  getContextMetadataAndLimits: async function (workspaceId, threadId = null) {
     try {
       const files = await this.where({
         workspaceId: parseInt(workspaceId),
         threadId: threadId ? parseInt(threadId) : null,
       });
 
+      const workspace = await Workspace.get({ id: parseInt(workspaceId) });
+      if (!workspace) throw new Error("Workspace not found");
+
       const results = [];
+      let totalTokens = 0;
       for (const file of files) {
         const metadata = safeJsonParse(file.metadata, {});
+        totalTokens += file.tokenCountEstimate || 0;
         results.push({
           id: file.id,
           title: metadata.title || metadata.location,
@@ -156,10 +161,18 @@ const WorkspaceParsedFiles = {
         });
       }
 
-      return results;
+      return {
+        files: results,
+        contextWindow: workspace.contextWindow,
+        currentContextTokenCount: totalTokens,
+      };
     } catch (error) {
       console.error("Failed to get context metadata:", error);
-      return [];
+      return {
+        files: [],
+        contextWindow: Infinity,
+        currentContextTokenCount: 0,
+      };
     }
   },
 

From 7917134b308371233cb1098167ec958a3e2e06e6 Mon Sep 17 00:00:00 2001
From: shatfield4 <seanhatfield5@gmail.com>
Date: Wed, 6 Aug 2025 18:54:35 -0700
Subject: [PATCH 10/19] rework ux of FE + BE optimizations

---
 .../index.jsx}                                |  12 +-
 .../ChatContainer/DnDWrapper/index.jsx        |  32 +++---
 .../AttachItem/ParsedFilesMenu/index.jsx      | 103 +++++++++++-------
 .../PromptInput/AttachItem/index.jsx          |  57 ++++++++--
 .../PromptInput/Attachments/index.jsx         |   6 +-
 frontend/src/models/workspace.js              |   8 +-
 server/endpoints/workspaces.js                |   9 +-
 7 files changed, 150 insertions(+), 77 deletions(-)
 rename frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/{FileUploadWarningModal.jsx => FileUploadWarningModal/index.jsx} (83%)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
similarity index 83%
rename from frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal.jsx
rename to frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
index 7340f50a87a..02023474791 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
@@ -1,5 +1,6 @@
 import { X } from "@phosphor-icons/react";
 import ModalWrapper from "@/components/ModalWrapper";
+import pluralize from "pluralize";
 
 export default function FileUploadWarningModal({
   show,
@@ -18,8 +19,7 @@ export default function FileUploadWarningModal({
         <div className="relative p-6 border-b border-theme-modal-border">
           <div className="w-full flex gap-x-2 items-center">
             <h3 className="text-xl font-semibold text-white overflow-hidden overflow-ellipsis whitespace-nowrap">
-              {fileCount === 1 ? "File" : "Files"} exceed
-              {fileCount === 1 ? "s" : ""} context window
+              Context Window Warning
             </h3>
             <button
               onClick={onClose}
@@ -33,8 +33,10 @@ export default function FileUploadWarningModal({
 
         <div className="py-7 px-9 space-y-4">
           <p className="text-white text-sm">
-            This document exceeds 80% of your context window ({tokenCount} &gt;{" "}
-            {maxTokens} tokens). Choose how you would like to proceed:
+            Your workspace is using {tokenCount} of {maxTokens} available
+            tokens. We recommend keeping usage below 80% to ensure the best chat
+            experience. Adding {fileCount} more {pluralize("file", fileCount)}{" "}
+            would exceed this limit. Choose how you would like to proceed:
           </p>
         </div>
 
@@ -58,7 +60,7 @@ export default function FileUploadWarningModal({
             type="button"
             className="transition-all duration-300 bg-white text-black hover:opacity-60 px-4 py-2 rounded-lg text-sm"
           >
-            Embed {fileCount === 1 ? "File" : "Files"}
+            Embed {pluralize("File", fileCount)}
           </button>
         </div>
       </div>
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index 20bc8e885a0..f8b71361df5 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -20,7 +20,7 @@ export const ATTACHMENTS_PROCESSED_EVENT = "ATTACHMENTS_PROCESSED";
  * @property {string} uid - unique file id.
  * @property {File} file - native File object
  * @property {string|null} contentString - base64 encoded string of file
- * @property {('in_progress'|'failed'|'success')} status - the automatic upload status.
+ * @property {('in_progress'|'failed'|'embedded'|'added_context')} status - the automatic upload status.
  * @property {string|null} error - Error message
  * @property {{id:string, location:string}|null} document - uploaded document details
  * @property {('attachment'|'upload')} type - The type of upload. Attachments are chat-specific, uploads go to the workspace.
@@ -39,9 +39,7 @@ export function DnDFileUploaderProvider({
   const [tokenCount, setTokenCount] = useState(0);
   const { user } = useUser();
 
-  // const contextWindow = workspace?.contextWindow || Number.POSITIVE_INFINITY;
-  const contextWindow = 8000;
-  console.log("workspace", workspace);
+  const contextWindow = workspace?.contextWindow || Number.POSITIVE_INFINITY;
   const maxTokens = Math.floor(contextWindow * 0.8);
 
   useEffect(() => {
@@ -187,6 +185,13 @@ export function DnDFileUploaderProvider({
     window.dispatchEvent(new CustomEvent(ATTACHMENTS_PROCESSING_EVENT));
     const promises = [];
 
+    // Get current token count first
+    const { currentContextTokenCount } = await Workspace.getParsedFiles(
+      workspace.slug,
+      threadSlug
+    );
+    let totalTokenCount = currentContextTokenCount;
+
     for (const attachment of newAttachments) {
       // Images/attachments are chat specific.
       if (attachment.type === "attachment") continue;
@@ -220,9 +225,10 @@ export function DnDFileUploaderProvider({
             const newTokenCount = data.files.reduce((sum, file) => {
               return sum + (file.tokenCountEstimate || 0);
             }, 0);
+            totalTokenCount += newTokenCount;
 
-            if (newTokenCount > maxTokens) {
-              setTokenCount((prev) => prev + newTokenCount);
+            if (totalTokenCount > maxTokens) {
+              setTokenCount(totalTokenCount);
               setPendingFiles((prev) => [
                 ...prev,
                 {
@@ -237,7 +243,7 @@ export function DnDFileUploaderProvider({
             // File is within limits, keep in parsed files
             const result = { success: true, document: data.files[0] };
             const updates = {
-              status: result.success ? "success" : "failed",
+              status: result.success ? "added_context" : "failed",
               error: result.error ?? null,
               document: result.document,
             };
@@ -267,11 +273,9 @@ export function DnDFileUploaderProvider({
   // Handle modal actions
   const handleCloseModal = async () => {
     if (!pendingFiles.length) return;
-    // Delete all parsed files and remove them from UI
-    await Promise.all(
-      pendingFiles.map((file) =>
-        Workspace.deleteParsedFile(workspace.slug, file.parsedFileId)
-      )
+    await Workspace.deleteParsedFiles(
+      workspace.slug,
+      pendingFiles.map((file) => file.parsedFileId)
     );
     setFiles((prev) =>
       prev.filter(
@@ -282,6 +286,7 @@ export function DnDFileUploaderProvider({
     setShowWarningModal(false);
     setPendingFiles([]);
     setTokenCount(0);
+    window.dispatchEvent(new CustomEvent(ATTACHMENTS_PROCESSED_EVENT));
   };
 
   const handleContinueAnyway = async () => {
@@ -324,7 +329,7 @@ export function DnDFileUploaderProvider({
     const fileUpdates = pendingFiles.map((file, i) => ({
       uid: file.attachment.uid,
       updates: {
-        status: results[i].response.ok ? "success" : "failed",
+        status: results[i].response.ok ? "embedded" : "failed",
         error: results[i].data?.error ?? null,
         document: results[i].data?.document,
       },
@@ -339,6 +344,7 @@ export function DnDFileUploaderProvider({
     setShowWarningModal(false);
     setPendingFiles([]);
     setTokenCount(0);
+    window.dispatchEvent(new CustomEvent(ATTACHMENTS_PROCESSED_EVENT));
   };
 
   return (
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
index a90d5b19a1b..8e7e25d3e3b 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
@@ -1,37 +1,44 @@
-import { useEffect, useState } from "react";
+import { useState } from "react";
 import { X, CircleNotch, Warning } from "@phosphor-icons/react";
 import Workspace from "@/models/workspace";
 import { useParams } from "react-router-dom";
 import { nFormatter } from "@/utils/numbers";
+import showToast from "@/utils/toast";
+import pluralize from "pluralize";
+
+export default function ParsedFilesMenu({
+  onEmbeddingChange,
+  tooltipRef,
+  files,
+  setFiles,
+  currentTokens,
+  setCurrentTokens,
+  contextWindow,
+  isLoading,
+}) {
+  const { slug, threadSlug = null } = useParams();
 
-export default function ParsedFilesMenu({ workspace, onEmbeddingChange }) {
-  const { threadSlug = null } = useParams();
-  const [files, setFiles] = useState([]);
-  const [isLoading, setIsLoading] = useState(true);
   const [isEmbedding, setIsEmbedding] = useState(false);
   const [embedProgress, setEmbedProgress] = useState(1);
-  const [contextWindow, setContextWindow] = useState(Infinity);
-  const [currentTokens, setCurrentTokens] = useState(0);
 
   const isOverflowing = currentTokens >= contextWindow * 0.8;
 
-  useEffect(() => {
-    async function fetchFiles() {
-      if (!workspace?.slug) return;
-      const { files, contextWindow, currentContextTokenCount } =
-        await Workspace.getParsedFiles(workspace.slug, threadSlug);
-      setFiles(files);
-      setContextWindow(contextWindow);
+  async function handleRemove(e, file) {
+    e.preventDefault();
+    e.stopPropagation();
+    if (!file?.id) return;
+    const success = await Workspace.deleteParsedFiles(slug, [file.id]);
+    if (success) {
+      setFiles((prev) => prev.filter((f) => f.id !== file.id));
+      showToast("File removed from context window", "success", {
+        clear: true,
+      });
+      const { currentContextTokenCount } = await Workspace.getParsedFiles(
+        slug,
+        threadSlug
+      );
       setCurrentTokens(currentContextTokenCount);
-      setIsLoading(false);
     }
-    fetchFiles();
-  }, [workspace, threadSlug]);
-
-  async function handleRemove(file) {
-    if (!file?.id) return;
-    await Workspace.deleteParsedFile(workspace.slug, file.id);
-    setFiles((prev) => prev.filter((f) => f.id !== file.id));
   }
 
   async function handleEmbed() {
@@ -43,15 +50,26 @@ export default function ParsedFilesMenu({ workspace, onEmbeddingChange }) {
       let completed = 0;
       await Promise.all(
         files.map((file) =>
-          Workspace.embedParsedFile(workspace.slug, file.id).then(() => {
+          Workspace.embedParsedFile(slug, file.id).then(() => {
             completed++;
             setEmbedProgress(completed + 1);
           })
         )
       );
       setFiles([]);
+      const { currentContextTokenCount } = await Workspace.getParsedFiles(
+        slug,
+        threadSlug
+      );
+      setCurrentTokens(currentContextTokenCount);
+      showToast(
+        `${files.length} ${pluralize("file", files.length)} embedded successfully`,
+        "success"
+      );
+      tooltipRef?.current?.close();
     } catch (error) {
       console.error("Failed to embed files:", error);
+      showToast("Failed to embed files", "error");
     }
     setIsEmbedding(false);
     onEmbeddingChange?.(false);
@@ -62,7 +80,7 @@ export default function ParsedFilesMenu({ workspace, onEmbeddingChange }) {
     <div className="flex flex-col gap-2 p-2">
       <div className="flex items-center justify-between">
         <div className="text-sm font-medium text-theme-text-primary">
-          Current Context
+          Current Context ({files.length} files)
         </div>
         <div className="text-xs text-theme-text-secondary">
           {nFormatter(currentTokens)} / {nFormatter(contextWindow)} tokens
@@ -98,25 +116,26 @@ export default function ParsedFilesMenu({ workspace, onEmbeddingChange }) {
         </div>
       )}
       <div className="flex flex-col gap-1 max-h-[300px] overflow-y-auto">
-        {files.map((file, i) => (
-          <div
-            key={i}
-            className={
-              "flex items-center justify-between gap-2 p-2 text-xs bg-theme-bg-secondary rounded"
-            }
-          >
-            <div className="truncate flex-1 text-theme-text-primary">
-              {file.title}
-            </div>
-            <button
-              onClick={() => handleRemove(file)}
-              className="text-theme-text-secondary hover:text-theme-text-primary"
-              disabled={isEmbedding}
+        {files.length > 0 &&
+          files.map((file, i) => (
+            <div
+              key={i}
+              className={
+                "flex items-center justify-between gap-2 p-2 text-xs bg-theme-bg-secondary rounded"
+              }
             >
-              <X size={16} />
-            </button>
-          </div>
-        ))}
+              <div className="truncate flex-1 text-theme-text-primary">
+                {file.title}
+              </div>
+              <button
+                onClick={(e) => handleRemove(e, file)}
+                className="text-theme-text-secondary hover:text-theme-text-primary"
+                disabled={isEmbedding}
+              >
+                <X size={16} />
+              </button>
+            </div>
+          ))}
         {isLoading && (
           <div className="flex items-center justify-center gap-2 text-xs text-theme-text-secondary text-center py-2">
             <CircleNotch size={16} className="animate-spin" />
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
index 5befc498cad..6363d5fe36a 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
@@ -2,7 +2,10 @@ import useUser from "@/hooks/useUser";
 import { PaperclipHorizontal } from "@phosphor-icons/react";
 import { Tooltip } from "react-tooltip";
 import { useTranslation } from "react-i18next";
-import { useRef, useState } from "react";
+import { useRef, useState, useEffect } from "react";
+import { useParams } from "react-router-dom";
+import Workspace from "@/models/workspace";
+import { ATTACHMENTS_PROCESSED_EVENT } from "../../DnDWrapper";
 import { useTheme } from "@/hooks/useTheme";
 import ParsedFilesMenu from "./ParsedFilesMenu";
 
@@ -13,9 +16,32 @@ import ParsedFilesMenu from "./ParsedFilesMenu";
 export default function AttachItem() {
   const { t } = useTranslation();
   const { user } = useUser();
-  const tooltipRef = useRef(null);
   const { theme } = useTheme();
+  const { slug, threadSlug = null } = useParams();
+  const tooltipRef = useRef(null);
   const [isEmbedding, setIsEmbedding] = useState(false);
+  const [files, setFiles] = useState([]);
+  const [currentTokens, setCurrentTokens] = useState(0);
+  const [contextWindow, setContextWindow] = useState(Infinity);
+  const [isLoading, setIsLoading] = useState(true);
+
+  const fetchFiles = async () => {
+    if (!slug) return;
+    setIsLoading(true);
+    const { files, contextWindow, currentContextTokenCount } =
+      await Workspace.getParsedFiles(slug, threadSlug);
+    setFiles(files);
+    setContextWindow(contextWindow);
+    setCurrentTokens(currentContextTokenCount);
+    setIsLoading(false);
+  };
+
+  useEffect(() => {
+    fetchFiles();
+    window.addEventListener(ATTACHMENTS_PROCESSED_EVENT, fetchFiles);
+    return () =>
+      window.removeEventListener(ATTACHMENTS_PROCESSED_EVENT, fetchFiles);
+  }, [slug, threadSlug]);
 
   if (!!user && user.role === "default") return null;
 
@@ -31,12 +57,20 @@ export default function AttachItem() {
           document?.getElementById("dnd-chat-file-uploader")?.click();
           return;
         }}
+        onPointerEnter={fetchFiles}
         className={`border-none relative flex justify-center items-center opacity-60 hover:opacity-100 light:opacity-100 light:hover:opacity-60 cursor-pointer`}
       >
-        <PaperclipHorizontal
-          color="var(--theme-sidebar-footer-icon-fill)"
-          className="w-[22px] h-[22px] pointer-events-none text-white rotate-90 -scale-y-100"
-        />
+        <div className="relative">
+          <PaperclipHorizontal
+            color="var(--theme-sidebar-footer-icon-fill)"
+            className="w-[22px] h-[22px] pointer-events-none text-white rotate-90 -scale-y-100"
+          />
+          {files.length > 0 && (
+            <div className="absolute -top-2 -left-2 bg-white text-black light:invert text-xs rounded-full w-4 h-4 flex items-center justify-center">
+              {files.length}
+            </div>
+          )}
+        </div>
       </button>
       <Tooltip
         ref={tooltipRef}
@@ -53,7 +87,16 @@ export default function AttachItem() {
         }
         className="z-99 !w-[400px] !bg-theme-bg-primary !px-[5px] !rounded-lg !pointer-events-auto light:border-2 light:border-theme-modal-border"
       >
-        <ParsedFilesMenu onEmbeddingChange={setIsEmbedding} />
+        <ParsedFilesMenu
+          onEmbeddingChange={setIsEmbedding}
+          tooltipRef={tooltipRef}
+          isLoading={isLoading}
+          files={files}
+          setFiles={setFiles}
+          currentTokens={currentTokens}
+          setCurrentTokens={setCurrentTokens}
+          contextWindow={contextWindow}
+        />
       </Tooltip>
     </>
   );
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/Attachments/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/Attachments/index.jsx
index a961bc8d20b..ed6e007a3f5 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/Attachments/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/Attachments/index.jsx
@@ -160,7 +160,9 @@ function AttachmentItem({ attachment }) {
     <>
       <div
         data-tooltip-id={`attachment-uid-${uid}-success`}
-        data-tooltip-content={`${file.name} was uploaded and embedded into this workspace. It will be available for RAG chat now.`}
+        data-tooltip-content={status === "embedded"
+          ? `${file.name} was uploaded and embedded into this workspace. It will be available for RAG chat now.`
+          : `${file.name} will be used as context for this chat only.`}
         className={`relative flex items-center gap-x-1 rounded-lg bg-theme-attachment-bg border-none w-[180px] group`}
       >
         <div className="invisible group-hover:visible absolute -top-[5px] -right-[5px] w-fit h-fit z-[10]">
@@ -186,7 +188,7 @@ function AttachmentItem({ attachment }) {
             {file.name}
           </p>
           <p className="text-theme-attachment-text-secondary text-[10px] leading-[14px] font-medium">
-            File embedded!
+            {status === "embedded" ? "File embedded!" : "Added as context!"}
           </p>
         </div>
       </div>
diff --git a/frontend/src/models/workspace.js b/frontend/src/models/workspace.js
index c83f56a0f9e..f65bc119ee9 100644
--- a/frontend/src/models/workspace.js
+++ b/frontend/src/models/workspace.js
@@ -267,9 +267,8 @@ const Workspace = {
       headers: baseHeaders(),
       body: JSON.stringify({ threadSlug }),
     });
-
     const data = await response.json();
-    return data.files || [];
+    return data;
   },
   uploadLink: async function (slug, link) {
     const response = await fetch(`${API_BASE}/workspace/${slug}/upload-link`, {
@@ -475,12 +474,13 @@ const Workspace = {
     return { response, data };
   },
 
-  deleteParsedFile: async function (slug, fileId) {
+  deleteParsedFiles: async function (slug, fileIds = []) {
     const response = await fetch(
-      `${API_BASE}/workspace/${slug}/delete-parsed-file/${fileId}`,
+      `${API_BASE}/workspace/${slug}/delete-parsed-files`,
       {
         method: "DELETE",
         headers: baseHeaders(),
+        body: JSON.stringify({ fileIds }),
       }
     );
     return response.ok;
diff --git a/server/endpoints/workspaces.js b/server/endpoints/workspaces.js
index 7ca0cc67da5..d788e1f50df 100644
--- a/server/endpoints/workspaces.js
+++ b/server/endpoints/workspaces.js
@@ -152,23 +152,24 @@ function workspaceEndpoints(app) {
   );
 
   app.delete(
-    "/workspace/:slug/delete-parsed-file/:fileId",
+    "/workspace/:slug/delete-parsed-files",
     [validatedRequest, flexUserRoleValid([ROLES.admin, ROLES.manager])],
     async function (request, response) {
       try {
-        const { slug = null, fileId = null } = request.params;
+        const { slug = null } = request.params;
+        const { fileIds = [] } = reqBody(request);
         const user = await userFromSession(request, response);
         const workspace = multiUserMode(response)
           ? await Workspace.getWithUser(user, { slug })
           : await Workspace.get({ slug });
 
-        if (!workspace || !fileId) {
+        if (!workspace || !fileIds.length) {
           response.sendStatus(400).end();
           return;
         }
 
         const success = await WorkspaceParsedFiles.delete({
-          id: parseInt(fileId),
+          id: { in: fileIds.map((id) => parseInt(id)) },
         });
         response.status(success ? 200 : 500).end();
       } catch (e) {

From 346e6eadb6e0afb455c0f2eaf69189c3e65160b8 Mon Sep 17 00:00:00 2001
From: shatfield4 <seanhatfield5@gmail.com>
Date: Thu, 7 Aug 2025 15:30:20 -0700
Subject: [PATCH 11/19] fix ux of FE + BE optimizations

---
 .../FileUploadWarningModal/index.jsx          | 31 +++++++---
 .../ChatContainer/DnDWrapper/index.jsx        | 60 +++++++++++++------
 .../PromptInput/Attachments/index.jsx         |  8 ++-
 server/endpoints/workspaces.js                |  7 ++-
 server/models/workspaceParsedFiles.js         | 23 ++++---
 server/utils/chats/stream.js                  |  6 +-
 6 files changed, 91 insertions(+), 44 deletions(-)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
index 02023474791..96f56a35a25 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
@@ -1,4 +1,4 @@
-import { X } from "@phosphor-icons/react";
+import { CircleNotch } from "@phosphor-icons/react";
 import ModalWrapper from "@/components/ModalWrapper";
 import pluralize from "pluralize";
 
@@ -10,9 +10,30 @@ export default function FileUploadWarningModal({
   tokenCount,
   maxTokens,
   fileCount = 1,
+  isEmbedding = false,
+  embedProgress = 0,
 }) {
   if (!show) return null;
 
+  if (isEmbedding) {
+    return (
+      <ModalWrapper isOpen={show}>
+        <div className="relative max-w-[600px] bg-theme-bg-primary rounded-lg shadow border border-theme-modal-border">
+          <div className="p-6 flex flex-col items-center justify-center">
+            <p className="text-white text-lg font-semibold mb-4">
+              Embedding {embedProgress + 1} of {fileCount}{" "}
+              {pluralize("file", fileCount)}
+            </p>
+            <CircleNotch size={32} className="animate-spin text-white" />
+            <p className="text-white/60 text-sm mt-2">
+              Please wait while we embed your files...
+            </p>
+          </div>
+        </div>
+      </ModalWrapper>
+    );
+  }
+
   return (
     <ModalWrapper isOpen={show}>
       <div className="relative max-w-[600px] bg-theme-bg-primary rounded-lg shadow border border-theme-modal-border">
@@ -21,13 +42,6 @@ export default function FileUploadWarningModal({
             <h3 className="text-xl font-semibold text-white overflow-hidden overflow-ellipsis whitespace-nowrap">
               Context Window Warning
             </h3>
-            <button
-              onClick={onClose}
-              type="button"
-              className="absolute top-4 right-4 transition-all duration-300 bg-transparent rounded-lg text-sm p-1 inline-flex items-center hover:bg-theme-modal-border hover:border-theme-modal-border hover:border-opacity-50 border-transparent border"
-            >
-              <X size={18} weight="bold" className="text-white" />
-            </button>
           </div>
         </div>
 
@@ -57,6 +71,7 @@ export default function FileUploadWarningModal({
           </button>
           <button
             onClick={onEmbed}
+            disabled={isEmbedding}
             type="button"
             className="transition-all duration-300 bg-white text-black hover:opacity-60 px-4 py-2 rounded-lg text-sm"
           >
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index f8b71361df5..65d9cf3e5ed 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -4,8 +4,10 @@ import System from "@/models/system";
 import { useDropzone } from "react-dropzone";
 import DndIcon from "./dnd-icon.png";
 import Workspace from "@/models/workspace";
+import showToast from "@/utils/toast";
 import useUser from "@/hooks/useUser";
 import FileUploadWarningModal from "./FileUploadWarningModal";
+import pluralize from "pluralize";
 
 export const DndUploaderContext = createContext();
 export const REMOVE_ATTACHMENT_EVENT = "ATTACHMENT_REMOVE";
@@ -35,13 +37,13 @@ export function DnDFileUploaderProvider({
   const [ready, setReady] = useState(false);
   const [dragging, setDragging] = useState(false);
   const [showWarningModal, setShowWarningModal] = useState(false);
+  const [isEmbedding, setIsEmbedding] = useState(false);
+  const [embedProgress, setEmbedProgress] = useState(0);
   const [pendingFiles, setPendingFiles] = useState([]);
   const [tokenCount, setTokenCount] = useState(0);
+  const [maxTokens, setMaxTokens] = useState(Number.POSITIVE_INFINITY);
   const { user } = useUser();
 
-  const contextWindow = workspace?.contextWindow || Number.POSITIVE_INFINITY;
-  const maxTokens = Math.floor(contextWindow * 0.8);
-
   useEffect(() => {
     System.checkDocumentProcessorOnline().then((status) => setReady(status));
   }, [user]);
@@ -185,12 +187,13 @@ export function DnDFileUploaderProvider({
     window.dispatchEvent(new CustomEvent(ATTACHMENTS_PROCESSING_EVENT));
     const promises = [];
 
-    // Get current token count first
-    const { currentContextTokenCount } = await Workspace.getParsedFiles(
-      workspace.slug,
-      threadSlug
-    );
+    const { currentContextTokenCount, contextWindow: newContextWindow } =
+      await Workspace.getParsedFiles(workspace.slug, threadSlug);
+    const newMaxTokens = Math.floor(newContextWindow * 0.8);
+    setMaxTokens(newMaxTokens);
+
     let totalTokenCount = currentContextTokenCount;
+    let batchPendingFiles = [];
 
     for (const attachment of newAttachments) {
       // Images/attachments are chat specific.
@@ -221,21 +224,21 @@ export function DnDFileUploaderProvider({
               return;
             }
 
-            // Check if files exceed context window
+            // Add token count for this file
             const newTokenCount = data.files.reduce((sum, file) => {
               return sum + (file.tokenCountEstimate || 0);
             }, 0);
+
             totalTokenCount += newTokenCount;
+            batchPendingFiles.push({
+              attachment,
+              parsedFileId: data.files[0].id,
+              tokenCount: newTokenCount,
+            });
 
-            if (totalTokenCount > maxTokens) {
+            if (totalTokenCount > newMaxTokens) {
               setTokenCount(totalTokenCount);
-              setPendingFiles((prev) => [
-                ...prev,
-                {
-                  attachment,
-                  parsedFileId: data.files[0].id,
-                },
-              ]);
+              setPendingFiles(batchPendingFiles);
               setShowWarningModal(true);
               return;
             }
@@ -273,10 +276,14 @@ export function DnDFileUploaderProvider({
   // Handle modal actions
   const handleCloseModal = async () => {
     if (!pendingFiles.length) return;
+
+    // Delete all files from this batch
     await Workspace.deleteParsedFiles(
       workspace.slug,
       pendingFiles.map((file) => file.parsedFileId)
     );
+
+    // Remove all files from this batch from the UI
     setFiles((prev) =>
       prev.filter(
         (prevFile) =>
@@ -318,10 +325,20 @@ export function DnDFileUploaderProvider({
 
   const handleEmbed = async () => {
     if (!pendingFiles.length) return;
+    setIsEmbedding(true);
+    setEmbedProgress(0);
+
     // Embed all pending files
+    let completed = 0;
     const results = await Promise.all(
       pendingFiles.map((file) =>
-        Workspace.embedParsedFile(workspace.slug, file.parsedFileId)
+        Workspace.embedParsedFile(workspace.slug, file.parsedFileId).then(
+          (result) => {
+            completed++;
+            setEmbedProgress(completed);
+            return result;
+          }
+        )
       )
     );
 
@@ -344,7 +361,12 @@ export function DnDFileUploaderProvider({
     setShowWarningModal(false);
     setPendingFiles([]);
     setTokenCount(0);
+    setIsEmbedding(false);
     window.dispatchEvent(new CustomEvent(ATTACHMENTS_PROCESSED_EVENT));
+    showToast(
+      `${pendingFiles.length} ${pluralize("file", pendingFiles.length)} embedded successfully`,
+      "success"
+    );
   };
 
   return (
@@ -359,6 +381,8 @@ export function DnDFileUploaderProvider({
         tokenCount={tokenCount}
         maxTokens={maxTokens}
         fileCount={pendingFiles.length}
+        isEmbedding={isEmbedding}
+        embedProgress={embedProgress}
       />
       {children}
     </DndUploaderContext.Provider>
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/Attachments/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/Attachments/index.jsx
index ed6e007a3f5..69ecbc540fb 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/Attachments/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/Attachments/index.jsx
@@ -160,9 +160,11 @@ function AttachmentItem({ attachment }) {
     <>
       <div
         data-tooltip-id={`attachment-uid-${uid}-success`}
-        data-tooltip-content={status === "embedded"
-          ? `${file.name} was uploaded and embedded into this workspace. It will be available for RAG chat now.`
-          : `${file.name} will be used as context for this chat only.`}
+        data-tooltip-content={
+          status === "embedded"
+            ? `${file.name} was uploaded and embedded into this workspace. It will be available for RAG chat now.`
+            : `${file.name} will be used as context for this chat only.`
+        }
         className={`relative flex items-center gap-x-1 rounded-lg bg-theme-attachment-bg border-none w-[180px] group`}
       >
         <div className="invisible group-hover:visible absolute -top-[5px] -right-[5px] w-fit h-fit z-[10]">
diff --git a/server/endpoints/workspaces.js b/server/endpoints/workspaces.js
index d788e1f50df..4e0d3d9bd00 100644
--- a/server/endpoints/workspaces.js
+++ b/server/endpoints/workspaces.js
@@ -46,7 +46,7 @@ function workspaceEndpoints(app) {
 
   app.post(
     "/workspace/:slug/parsed-files",
-    [validatedRequest],
+    [validatedRequest, flexUserRoleValid([ROLES.all])],
     async (request, response) => {
       try {
         const { slug = null } = request.params;
@@ -68,8 +68,9 @@ function workspaceEndpoints(app) {
 
         const { files, contextWindow, currentContextTokenCount } =
           await WorkspaceParsedFiles.getContextMetadataAndLimits(
-            workspace.id,
-            thread?.id || null
+            workspace,
+            thread || null,
+            multiUserMode(response) ? user : null
           );
 
         response
diff --git a/server/models/workspaceParsedFiles.js b/server/models/workspaceParsedFiles.js
index 888489c9e74..9497c7e5106 100644
--- a/server/models/workspaceParsedFiles.js
+++ b/server/models/workspaceParsedFiles.js
@@ -138,18 +138,22 @@ const WorkspaceParsedFiles = {
     }
   },
 
-  getContextMetadataAndLimits: async function (workspaceId, threadId = null) {
+  getContextMetadataAndLimits: async function (
+    workspace,
+    thread = null,
+    user = null
+  ) {
     try {
+      if (!workspace) throw new Error("Workspace is required");
       const files = await this.where({
-        workspaceId: parseInt(workspaceId),
-        threadId: threadId ? parseInt(threadId) : null,
+        workspaceId: parseInt(workspace.id),
+        threadId: thread?.id ? parseInt(thread.id) : null,
+        ...(user ? { userId: user.id } : {}),
       });
 
-      const workspace = await Workspace.get({ id: parseInt(workspaceId) });
-      if (!workspace) throw new Error("Workspace not found");
-
       const results = [];
       let totalTokens = 0;
+
       for (const file of files) {
         const metadata = safeJsonParse(file.metadata, {});
         totalTokens += file.tokenCountEstimate || 0;
@@ -176,11 +180,12 @@ const WorkspaceParsedFiles = {
     }
   },
 
-  getContextFiles: async function (workspaceId, threadId = null) {
+  getContextFiles: async function (workspace, thread = null, user = null) {
     try {
       const files = await this.where({
-        workspaceId: parseInt(workspaceId),
-        threadId: threadId ? parseInt(threadId) : null,
+        workspaceId: parseInt(workspace.id),
+        threadId: thread?.id ? parseInt(thread.id) : null,
+        ...(user ? { userId: user.id } : {}),
       });
 
       const results = [];
diff --git a/server/utils/chats/stream.js b/server/utils/chats/stream.js
index 597b95b825f..893a69415d5 100644
--- a/server/utils/chats/stream.js
+++ b/server/utils/chats/stream.js
@@ -133,9 +133,9 @@ async function streamChatWithWorkspace(
 
   // Inject any parsed files for this workspace/thread/user
   const parsedFiles = await WorkspaceParsedFiles.getContextFiles(
-    workspace.id,
-    thread?.id || null,
-    user?.id || null
+    workspace,
+    thread || null,
+    user || null
   );
   parsedFiles.forEach((doc) => {
     const { pageContent, ...metadata } = doc;

From a59199bc50801447d9378d83eb28118feb79a739 Mon Sep 17 00:00:00 2001
From: timothycarambat <rambat1010@gmail.com>
Date: Thu, 7 Aug 2025 17:43:14 -0700
Subject: [PATCH 12/19] Implement bidirectional sync for parsed file states
 linting small changes and comments

---
 .../FileUploadWarningModal/index.jsx          |  16 +--
 .../ChatContainer/DnDWrapper/index.jsx        |  53 ++++++--
 .../AttachItem/ParsedFilesMenu/index.jsx      |  41 +++---
 .../PromptInput/AttachItem/index.jsx          | 118 +++++++++++-------
 frontend/src/models/workspace.js              |   2 +
 .../plugins/sql-agent/SQLConnectors/MSSQL.js  |   1 -
 server/utils/chats/apiChatHandler.js          |   1 -
 7 files changed, 157 insertions(+), 75 deletions(-)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
index 96f56a35a25..3abf13af7a0 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
@@ -1,6 +1,7 @@
 import { CircleNotch } from "@phosphor-icons/react";
 import ModalWrapper from "@/components/ModalWrapper";
 import pluralize from "pluralize";
+import { numberWithCommas } from "@/utils/numbers";
 
 export default function FileUploadWarningModal({
   show,
@@ -47,10 +48,11 @@ export default function FileUploadWarningModal({
 
         <div className="py-7 px-9 space-y-4">
           <p className="text-white text-sm">
-            Your workspace is using {tokenCount} of {maxTokens} available
-            tokens. We recommend keeping usage below 80% to ensure the best chat
-            experience. Adding {fileCount} more {pluralize("file", fileCount)}{" "}
-            would exceed this limit. Choose how you would like to proceed:
+            Your workspace is using {numberWithCommas(tokenCount)} of{" "}
+            {numberWithCommas(maxTokens)} available tokens. We recommend keeping
+            usage below 80% to ensure the best chat experience. Adding{" "}
+            {fileCount} more {pluralize("file", fileCount)} would exceed this
+            limit. Choose how you would like to proceed:
           </p>
         </div>
 
@@ -58,14 +60,14 @@ export default function FileUploadWarningModal({
           <button
             onClick={onClose}
             type="button"
-            className="transition-all duration-300 bg-theme-modal-border text-white hover:opacity-60 px-4 py-2 rounded-lg text-sm"
+            className="border-none transition-all duration-300 bg-theme-modal-border text-white hover:opacity-60 px-4 py-2 rounded-lg text-sm"
           >
             Cancel
           </button>
           <button
             onClick={onContinue}
             type="button"
-            className="transition-all duration-300 bg-theme-modal-border text-white hover:opacity-60 px-4 py-2 rounded-lg text-sm"
+            className="border-none transition-all duration-300 bg-theme-modal-border text-white hover:opacity-60 px-4 py-2 rounded-lg text-sm"
           >
             Continue Anyway
           </button>
@@ -73,7 +75,7 @@ export default function FileUploadWarningModal({
             onClick={onEmbed}
             disabled={isEmbedding}
             type="button"
-            className="transition-all duration-300 bg-white text-black hover:opacity-60 px-4 py-2 rounded-lg text-sm"
+            className="border-none transition-all duration-300 bg-white text-black hover:opacity-60 px-4 py-2 rounded-lg text-sm"
           >
             Embed {pluralize("File", fileCount)}
           </button>
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index 65d9cf3e5ed..d9bfd5a8c71 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -15,6 +15,8 @@ export const CLEAR_ATTACHMENTS_EVENT = "ATTACHMENT_CLEAR";
 export const PASTE_ATTACHMENT_EVENT = "ATTACHMENT_PASTED";
 export const ATTACHMENTS_PROCESSING_EVENT = "ATTACHMENTS_PROCESSING";
 export const ATTACHMENTS_PROCESSED_EVENT = "ATTACHMENTS_PROCESSED";
+export const PARSED_FILE_ATTACHMENT_REMOVED_EVENT =
+  "PARSED_FILE_ATTACHMENT_REMOVED";
 
 /**
  * File Attachment for automatic upload on the chat container page.
@@ -28,6 +30,17 @@ export const ATTACHMENTS_PROCESSED_EVENT = "ATTACHMENTS_PROCESSED";
  * @property {('attachment'|'upload')} type - The type of upload. Attachments are chat-specific, uploads go to the workspace.
  */
 
+/**
+ * @typedef {Object} ParsedFile
+ * @property {number} id - The id of the parsed file.
+ * @property {string} filename - The name of the parsed file.
+ * @property {number} workspaceId - The id of the workspace the parsed file belongs to.
+ * @property {string|null} userId - The id of the user the parsed file belongs to.
+ * @property {string|null} threadId - The id of the thread the parsed file belongs to.
+ * @property {string} metadata - The metadata of the parsed file.
+ * @property {number} tokenCountEstimate - The estimated token count of the parsed file.
+ */
+
 export function DnDFileUploaderProvider({
   workspace,
   children,
@@ -52,10 +65,18 @@ export function DnDFileUploaderProvider({
     window.addEventListener(REMOVE_ATTACHMENT_EVENT, handleRemove);
     window.addEventListener(CLEAR_ATTACHMENTS_EVENT, resetAttachments);
     window.addEventListener(PASTE_ATTACHMENT_EVENT, handlePastedAttachment);
+    window.addEventListener(
+      PARSED_FILE_ATTACHMENT_REMOVED_EVENT,
+      handleRemoveParsedFile
+    );
 
     return () => {
       window.removeEventListener(REMOVE_ATTACHMENT_EVENT, handleRemove);
       window.removeEventListener(CLEAR_ATTACHMENTS_EVENT, resetAttachments);
+      window.removeEventListener(
+        PARSED_FILE_ATTACHMENT_REMOVED_EVENT,
+        handleRemoveParsedFile
+      );
       window.removeEventListener(
         PASTE_ATTACHMENT_EVENT,
         handlePastedAttachment
@@ -63,6 +84,18 @@ export function DnDFileUploaderProvider({
     };
   }, []);
 
+  /**
+   * Handles the removal of a parsed file attachment from the uploader queue.
+   * Only uses the document id to remove the file from the queue
+   * @param {CustomEvent<{document: ParsedFile}>} event
+   */
+  async function handleRemoveParsedFile(event) {
+    const { document } = event.detail;
+    setFiles((prev) =>
+      prev.filter((prevFile) => prevFile.document.id !== document.id)
+    );
+  }
+
   /**
    * Remove file from uploader queue.
    * @param {CustomEvent<{uid: string}>} event
@@ -189,7 +222,9 @@ export function DnDFileUploaderProvider({
 
     const { currentContextTokenCount, contextWindow: newContextWindow } =
       await Workspace.getParsedFiles(workspace.slug, threadSlug);
-    const newMaxTokens = Math.floor(newContextWindow * 0.8);
+    const newMaxTokens = Math.floor(
+      newContextWindow * Workspace.maxContextWindowLimit
+    );
     setMaxTokens(newMaxTokens);
 
     let totalTokenCount = currentContextTokenCount;
@@ -223,17 +258,17 @@ export function DnDFileUploaderProvider({
               );
               return;
             }
+            // Will always be one file in the array
+            /** @type {ParsedFile} */
+            const file = data.files[0];
 
             // Add token count for this file
-            const newTokenCount = data.files.reduce((sum, file) => {
-              return sum + (file.tokenCountEstimate || 0);
-            }, 0);
-
-            totalTokenCount += newTokenCount;
+            // and add it to the batch pending files
+            totalTokenCount += file.tokenCountEstimate;
             batchPendingFiles.push({
               attachment,
-              parsedFileId: data.files[0].id,
-              tokenCount: newTokenCount,
+              parsedFileId: file.id,
+              tokenCount: file.tokenCountEstimate,
             });
 
             if (totalTokenCount > newMaxTokens) {
@@ -244,7 +279,7 @@ export function DnDFileUploaderProvider({
             }
 
             // File is within limits, keep in parsed files
-            const result = { success: true, document: data.files[0] };
+            const result = { success: true, document: file };
             const updates = {
               status: result.success ? "added_context" : "failed",
               error: result.error ?? null,
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
index 8e7e25d3e3b..31df15c1d91 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
@@ -5,6 +5,7 @@ import { useParams } from "react-router-dom";
 import { nFormatter } from "@/utils/numbers";
 import showToast from "@/utils/toast";
 import pluralize from "pluralize";
+import { PARSED_FILE_ATTACHMENT_REMOVED_EVENT } from "../../../DnDWrapper";
 
 export default function ParsedFilesMenu({
   onEmbeddingChange,
@@ -17,30 +18,40 @@ export default function ParsedFilesMenu({
   isLoading,
 }) {
   const { slug, threadSlug = null } = useParams();
-
   const [isEmbedding, setIsEmbedding] = useState(false);
   const [embedProgress, setEmbedProgress] = useState(1);
-
-  const isOverflowing = currentTokens >= contextWindow * 0.8;
+  const contextWindowLimitExceeded =
+    currentTokens >= contextWindow * Workspace.maxContextWindowLimit;
 
   async function handleRemove(e, file) {
     e.preventDefault();
     e.stopPropagation();
     if (!file?.id) return;
+
     const success = await Workspace.deleteParsedFiles(slug, [file.id]);
-    if (success) {
-      setFiles((prev) => prev.filter((f) => f.id !== file.id));
-      showToast("File removed from context window", "success", {
-        clear: true,
-      });
-      const { currentContextTokenCount } = await Workspace.getParsedFiles(
-        slug,
-        threadSlug
-      );
-      setCurrentTokens(currentContextTokenCount);
-    }
+    if (!success) return;
+
+    // Update the local files list and current tokens
+    setFiles((prev) => prev.filter((f) => f.id !== file.id));
+
+    // Dispatch an event to the DnDFileUploaderWrapper to update the files list in attachment manager if it exists
+    window.dispatchEvent(
+      new CustomEvent(PARSED_FILE_ATTACHMENT_REMOVED_EVENT, {
+        detail: { document: file },
+      })
+    );
+    const { currentContextTokenCount } = await Workspace.getParsedFiles(
+      slug,
+      threadSlug
+    );
+    setCurrentTokens(currentContextTokenCount);
   }
 
+  /**
+   * Handles the embedding of the files when the user exceeds the context window limit
+   * and opts to embed the files into the workspace instead.
+   * @returns {Promise<void>}
+   */
   async function handleEmbed() {
     if (!files.length) return;
     setIsEmbedding(true);
@@ -86,7 +97,7 @@ export default function ParsedFilesMenu({
           {nFormatter(currentTokens)} / {nFormatter(contextWindow)} tokens
         </div>
       </div>
-      {isOverflowing && (
+      {contextWindowLimitExceeded && (
         <div className="flex flex-col gap-2 p-2 bg-theme-bg-secondary light:bg-theme-bg-primary rounded">
           <div className="flex items-start gap-2">
             <Warning
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
index 6363d5fe36a..70b1b211ef3 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
@@ -5,7 +5,10 @@ import { useTranslation } from "react-i18next";
 import { useRef, useState, useEffect } from "react";
 import { useParams } from "react-router-dom";
 import Workspace from "@/models/workspace";
-import { ATTACHMENTS_PROCESSED_EVENT } from "../../DnDWrapper";
+import {
+  ATTACHMENTS_PROCESSED_EVENT,
+  REMOVE_ATTACHMENT_EVENT,
+} from "../../DnDWrapper";
 import { useTheme } from "@/hooks/useTheme";
 import ParsedFilesMenu from "./ParsedFilesMenu";
 
@@ -23,28 +26,61 @@ export default function AttachItem() {
   const [files, setFiles] = useState([]);
   const [currentTokens, setCurrentTokens] = useState(0);
   const [contextWindow, setContextWindow] = useState(Infinity);
+  const [showTooltip, setShowTooltip] = useState(false);
   const [isLoading, setIsLoading] = useState(true);
 
-  const fetchFiles = async () => {
+  const fetchFiles = () => {
     if (!slug) return;
     setIsLoading(true);
-    const { files, contextWindow, currentContextTokenCount } =
-      await Workspace.getParsedFiles(slug, threadSlug);
-    setFiles(files);
-    setContextWindow(contextWindow);
-    setCurrentTokens(currentContextTokenCount);
-    setIsLoading(false);
+    Workspace.getParsedFiles(slug, threadSlug)
+      .then(({ files, contextWindow, currentContextTokenCount }) => {
+        setFiles(files);
+        setShowTooltip(files.length > 0);
+        setContextWindow(contextWindow);
+        setCurrentTokens(currentContextTokenCount);
+      })
+      .finally(() => {
+        setIsLoading(false);
+      });
   };
 
+  /**
+   * Handles the removal of an attachment from the parsed files
+   * and triggers a re-fetch of the parsed files.
+   * This function handles when the user clicks the X on an Attachment via the AttachmentManager
+   * so we need to sync the state in the ParsedFilesMenu picker here.
+   */
+  async function handleRemoveAttachment(e) {
+    const { document } = e.detail;
+    await Workspace.deleteParsedFiles(slug, [document.id]);
+    fetchFiles();
+  }
+
+  /**
+   * Handles the click event for the attach item button.
+   * @param {MouseEvent} e - The click event.
+   * @returns {void}
+   */
+  function handleClick(e) {
+    e?.target?.blur();
+    document?.getElementById("dnd-chat-file-uploader")?.click();
+    return;
+  }
+
   useEffect(() => {
     fetchFiles();
     window.addEventListener(ATTACHMENTS_PROCESSED_EVENT, fetchFiles);
-    return () =>
+    window.addEventListener(REMOVE_ATTACHMENT_EVENT, handleRemoveAttachment);
+    return () => {
       window.removeEventListener(ATTACHMENTS_PROCESSED_EVENT, fetchFiles);
+      window.removeEventListener(
+        REMOVE_ATTACHMENT_EVENT,
+        handleRemoveAttachment
+      );
+    };
   }, [slug, threadSlug]);
 
   if (!!user && user.role === "default") return null;
-
   return (
     <>
       <button
@@ -52,11 +88,7 @@ export default function AttachItem() {
         data-tooltip-id="tooltip-attach-item-btn"
         aria-label={t("chat_window.attach_file")}
         type="button"
-        onClick={(e) => {
-          e?.target?.blur();
-          document?.getElementById("dnd-chat-file-uploader")?.click();
-          return;
-        }}
+        onClick={handleClick}
         onPointerEnter={fetchFiles}
         className={`border-none relative flex justify-center items-center opacity-60 hover:opacity-100 light:opacity-100 light:hover:opacity-60 cursor-pointer`}
       >
@@ -66,38 +98,40 @@ export default function AttachItem() {
             className="w-[22px] h-[22px] pointer-events-none text-white rotate-90 -scale-y-100"
           />
           {files.length > 0 && (
-            <div className="absolute -top-2 -left-2 bg-white text-black light:invert text-xs rounded-full w-4 h-4 flex items-center justify-center">
+            <div className="absolute -top-2 right-[1%] bg-white text-black light:invert text-[8px] rounded-full px-1 flex items-center justify-center">
               {files.length}
             </div>
           )}
         </div>
       </button>
-      <Tooltip
-        ref={tooltipRef}
-        id="tooltip-attach-item-btn"
-        place="top"
-        opacity={1}
-        clickable={!isEmbedding}
-        delayShow={300}
-        delayHide={isEmbedding ? null : 800}
-        arrowColor={
-          theme === "light"
-            ? "var(--theme-modal-border)"
-            : "var(--theme-bg-primary)"
-        }
-        className="z-99 !w-[400px] !bg-theme-bg-primary !px-[5px] !rounded-lg !pointer-events-auto light:border-2 light:border-theme-modal-border"
-      >
-        <ParsedFilesMenu
-          onEmbeddingChange={setIsEmbedding}
-          tooltipRef={tooltipRef}
-          isLoading={isLoading}
-          files={files}
-          setFiles={setFiles}
-          currentTokens={currentTokens}
-          setCurrentTokens={setCurrentTokens}
-          contextWindow={contextWindow}
-        />
-      </Tooltip>
+      {showTooltip && (
+        <Tooltip
+          ref={tooltipRef}
+          id="tooltip-attach-item-btn"
+          place="top"
+          opacity={1}
+          clickable={!isEmbedding}
+          delayShow={300}
+          delayHide={isEmbedding ? null : 800}
+          arrowColor={
+            theme === "light"
+              ? "var(--theme-modal-border)"
+              : "var(--theme-bg-primary)"
+          }
+          className="z-99 !w-[400px] !bg-theme-bg-primary !px-[5px] !rounded-lg !pointer-events-auto light:border-2 light:border-theme-modal-border"
+        >
+          <ParsedFilesMenu
+            onEmbeddingChange={setIsEmbedding}
+            tooltipRef={tooltipRef}
+            isLoading={isLoading}
+            files={files}
+            setFiles={setFiles}
+            currentTokens={currentTokens}
+            setCurrentTokens={setCurrentTokens}
+            contextWindow={contextWindow}
+          />
+        </Tooltip>
+      )}
     </>
   );
 }
diff --git a/frontend/src/models/workspace.js b/frontend/src/models/workspace.js
index f65bc119ee9..20fef9512f3 100644
--- a/frontend/src/models/workspace.js
+++ b/frontend/src/models/workspace.js
@@ -7,6 +7,8 @@ import { ABORT_STREAM_EVENT } from "@/utils/chat";
 
 const Workspace = {
   workspaceOrderStorageKey: "anythingllm-workspace-order",
+  /** The maximum percentage of the context window that can be used for attachments */
+  maxContextWindowLimit: 0.8,
 
   new: async function (data = {}) {
     const { workspace, message } = await fetch(`${API_BASE}/workspace/new`, {
diff --git a/server/utils/agents/aibitat/plugins/sql-agent/SQLConnectors/MSSQL.js b/server/utils/agents/aibitat/plugins/sql-agent/SQLConnectors/MSSQL.js
index d11314f6f26..720b304fb31 100644
--- a/server/utils/agents/aibitat/plugins/sql-agent/SQLConnectors/MSSQL.js
+++ b/server/utils/agents/aibitat/plugins/sql-agent/SQLConnectors/MSSQL.js
@@ -96,7 +96,6 @@ class MSSQLConnector {
   getTablesSql() {
     return `SELECT name FROM sysobjects WHERE xtype='U';`;
   }
-
   getTableSchemaSql(table_name) {
     return `SELECT COLUMN_NAME,COLUMN_DEFAULT,IS_NULLABLE,DATA_TYPE FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_NAME='${table_name}'`;
   }
diff --git a/server/utils/chats/apiChatHandler.js b/server/utils/chats/apiChatHandler.js
index 122674c7140..43a87d60c14 100644
--- a/server/utils/chats/apiChatHandler.js
+++ b/server/utils/chats/apiChatHandler.js
@@ -1,7 +1,6 @@
 const { v4: uuidv4 } = require("uuid");
 const { DocumentManager } = require("../DocumentManager");
 const { WorkspaceChats } = require("../../models/workspaceChats");
-const { WorkspaceParsedFiles } = require("../../models/workspaceParsedFiles");
 const { getVectorDbClass, getLLMProvider } = require("../helpers");
 const { writeResponseChunk } = require("../helpers/chat/responses");
 const {

From 954cc38216f32b4d33c270486342fafdeabd39de Mon Sep 17 00:00:00 2001
From: timothycarambat <rambat1010@gmail.com>
Date: Thu, 7 Aug 2025 18:15:03 -0700
Subject: [PATCH 13/19] move parse support to another endpoint file simplify
 calls and loading of records

---
 server/endpoints/workspaces.js            | 229 +---------------------
 server/endpoints/workspacesParsedFiles.js | 203 +++++++++++++++++++
 server/models/workspace.js                |   4 +-
 server/models/workspaceParsedFiles.js     |  30 +--
 4 files changed, 224 insertions(+), 242 deletions(-)
 create mode 100644 server/endpoints/workspacesParsedFiles.js

diff --git a/server/endpoints/workspaces.js b/server/endpoints/workspaces.js
index 4e0d3d9bd00..af4eb9983b3 100644
--- a/server/endpoints/workspaces.js
+++ b/server/endpoints/workspaces.js
@@ -37,52 +37,12 @@ const truncate = require("truncate");
 const { purgeDocument } = require("../utils/files/purgeDocument");
 const { getModelTag } = require("./utils");
 const { searchWorkspaceAndThreads } = require("../utils/helpers/search");
-const { WorkspaceParsedFiles } = require("../models/workspaceParsedFiles");
+const { workspaceParsedFilesEndpoints } = require("./workspacesParsedFiles");
 
 function workspaceEndpoints(app) {
   if (!app) return;
-
   const responseCache = new Map();
 
-  app.post(
-    "/workspace/:slug/parsed-files",
-    [validatedRequest, flexUserRoleValid([ROLES.all])],
-    async (request, response) => {
-      try {
-        const { slug = null } = request.params;
-        const { threadSlug = null } = reqBody(request);
-        const user = await userFromSession(request, response);
-
-        const workspace = multiUserMode(response)
-          ? await Workspace.getWithUser(user, { slug })
-          : await Workspace.get({ slug });
-
-        if (!workspace) {
-          response.sendStatus(400).end();
-          return;
-        }
-
-        const thread = threadSlug
-          ? await WorkspaceThread.get({ slug: threadSlug })
-          : null;
-
-        const { files, contextWindow, currentContextTokenCount } =
-          await WorkspaceParsedFiles.getContextMetadataAndLimits(
-            workspace,
-            thread || null,
-            multiUserMode(response) ? user : null
-          );
-
-        response
-          .status(200)
-          .json({ files, contextWindow, currentContextTokenCount });
-      } catch (e) {
-        console.error(e.message, e);
-        response.sendStatus(500).end();
-      }
-    }
-  );
-
   app.post(
     "/workspace/new",
     [validatedRequest, flexUserRoleValid([ROLES.admin, ROLES.manager])],
@@ -152,190 +112,6 @@ function workspaceEndpoints(app) {
     }
   );
 
-  app.delete(
-    "/workspace/:slug/delete-parsed-files",
-    [validatedRequest, flexUserRoleValid([ROLES.admin, ROLES.manager])],
-    async function (request, response) {
-      try {
-        const { slug = null } = request.params;
-        const { fileIds = [] } = reqBody(request);
-        const user = await userFromSession(request, response);
-        const workspace = multiUserMode(response)
-          ? await Workspace.getWithUser(user, { slug })
-          : await Workspace.get({ slug });
-
-        if (!workspace || !fileIds.length) {
-          response.sendStatus(400).end();
-          return;
-        }
-
-        const success = await WorkspaceParsedFiles.delete({
-          id: { in: fileIds.map((id) => parseInt(id)) },
-        });
-        response.status(success ? 200 : 500).end();
-      } catch (e) {
-        console.error(e.message, e);
-        response.sendStatus(500).end();
-      }
-    }
-  );
-
-  app.post(
-    "/workspace/:slug/embed-parsed-file/:fileId",
-    [validatedRequest, flexUserRoleValid([ROLES.admin, ROLES.manager])],
-    async function (request, response) {
-      try {
-        const { slug = null, fileId = null } = request.params;
-        const user = await userFromSession(request, response);
-        const workspace = multiUserMode(response)
-          ? await Workspace.getWithUser(user, { slug })
-          : await Workspace.get({ slug });
-
-        if (!workspace || !fileId) {
-          response.sendStatus(400).end();
-          return;
-        }
-
-        const { success, error, document } =
-          await WorkspaceParsedFiles.moveToDocumentsAndEmbed(
-            fileId,
-            workspace.id
-          );
-
-        if (!success) {
-          response.status(500).json({
-            success: false,
-            error: error || "Failed to embed file",
-          });
-          return;
-        }
-
-        await Telemetry.sendTelemetry("document_embedded");
-        await EventLogs.logEvent(
-          "document_embedded",
-          {
-            documentName: document?.name || "unknown",
-            workspaceId: workspace.id,
-          },
-          user?.id
-        );
-
-        response.status(200).json({
-          success: true,
-          error: null,
-          document,
-        });
-      } catch (e) {
-        console.error(e.message, e);
-        response.sendStatus(500).end();
-      } finally {
-        if (request.params.fileId) {
-          await WorkspaceParsedFiles.delete({
-            id: parseInt(request.params.fileId),
-          });
-        }
-      }
-    }
-  );
-
-  app.post(
-    "/workspace/:slug/parse",
-    [
-      validatedRequest,
-      flexUserRoleValid([ROLES.admin, ROLES.manager]),
-      handleFileUpload,
-    ],
-    async function (request, response) {
-      try {
-        const { slug = null } = request.params;
-        const user = await userFromSession(request, response);
-        const workspace = multiUserMode(response)
-          ? await Workspace.getWithUser(user, { slug })
-          : await Workspace.get({ slug });
-
-        if (!workspace) {
-          response.sendStatus(400).end();
-          return;
-        }
-
-        const Collector = new CollectorApi();
-        const { originalname } = request.file;
-        const processingOnline = await Collector.online();
-
-        if (!processingOnline) {
-          response.status(500).json({
-            success: false,
-            error: `Document processing API is not online. Document ${originalname} will not be parsed.`,
-          });
-          return;
-        }
-
-        const { success, reason, documents } =
-          await Collector.parseDocument(originalname);
-        if (!success || !documents?.[0]) {
-          response.status(500).json({
-            success: false,
-            error: reason || "No document returned from collector",
-          });
-          return;
-        }
-
-        // Get thread ID if we have a slug
-        const { threadSlug } = reqBody(request);
-        let threadId = null;
-        if (threadSlug) {
-          const thread = await WorkspaceThread.get({
-            slug: threadSlug,
-            workspace_id: workspace.id,
-            user_id: user?.id || null,
-          });
-          threadId = thread?.id || null;
-        }
-
-        const files = await Promise.all(
-          documents.map(async (doc) => {
-            const metadata = { ...doc };
-            // Strip out pageContent
-            delete metadata.pageContent;
-            const filename = `${originalname}-${doc.id}.json`;
-
-            const { file, error: dbError } = await WorkspaceParsedFiles.create({
-              filename,
-              workspaceId: workspace.id,
-              userId: user?.id || null,
-              threadId,
-              metadata: JSON.stringify(metadata),
-              tokenCountEstimate: doc.token_count_estimate || 0,
-            });
-
-            if (dbError) throw new Error(dbError);
-            return file;
-          })
-        );
-
-        Collector.log(`Document ${originalname} parsed successfully.`);
-        await Telemetry.sendTelemetry("document_parsed");
-        await EventLogs.logEvent(
-          "document_parsed",
-          {
-            documentName: originalname,
-            workspaceId: workspace.id,
-          },
-          user?.id
-        );
-
-        response.status(200).json({
-          success: true,
-          error: null,
-          files,
-        });
-      } catch (e) {
-        console.error(e.message, e);
-        response.sendStatus(500).end();
-      }
-    }
-  );
-
   app.post(
     "/workspace/:slug/upload",
     [
@@ -1285,6 +1061,9 @@ function workspaceEndpoints(app) {
       }
     }
   );
+
+  // Parsed Files in separate endpoint just to keep the workspace endpoints clean
+  workspaceParsedFilesEndpoints(app);
 }
 
 module.exports = { workspaceEndpoints };
diff --git a/server/endpoints/workspacesParsedFiles.js b/server/endpoints/workspacesParsedFiles.js
new file mode 100644
index 00000000000..228cc1cca8f
--- /dev/null
+++ b/server/endpoints/workspacesParsedFiles.js
@@ -0,0 +1,203 @@
+const { reqBody, multiUserMode, userFromSession } = require("../utils/http");
+const { handleFileUpload } = require("../utils/files/multer");
+const { validatedRequest } = require("../utils/middleware/validatedRequest");
+const { Telemetry } = require("../models/telemetry");
+const {
+  flexUserRoleValid,
+  ROLES,
+} = require("../utils/middleware/multiUserProtected");
+const { EventLogs } = require("../models/eventLogs");
+const { validWorkspaceSlug } = require("../utils/middleware/validWorkspace");
+const { CollectorApi } = require("../utils/collectorApi");
+const { WorkspaceThread } = require("../models/workspaceThread");
+
+const { WorkspaceParsedFiles } = require("../models/workspaceParsedFiles");
+
+function workspaceParsedFilesEndpoints(app) {
+  if (!app) return;
+
+  app.post(
+    "/workspace/:slug/parsed-files",
+    [validatedRequest, flexUserRoleValid([ROLES.all]), validWorkspaceSlug],
+    async (request, response) => {
+      try {
+        const { threadSlug = null } = reqBody(request);
+        const user = await userFromSession(request, response);
+        const workspace = response.locals.workspace;
+        const thread = threadSlug
+          ? await WorkspaceThread.get({ slug: threadSlug })
+          : null;
+        const { files, contextWindow, currentContextTokenCount } =
+          await WorkspaceParsedFiles.getContextMetadataAndLimits(
+            workspace,
+            thread || null,
+            multiUserMode(response) ? user : null
+          );
+
+        return response
+          .status(200)
+          .json({ files, contextWindow, currentContextTokenCount });
+      } catch (e) {
+        console.error(e.message, e);
+        return response.sendStatus(500).end();
+      }
+    }
+  );
+
+  app.delete(
+    "/workspace/:slug/delete-parsed-files",
+    [
+      validatedRequest,
+      flexUserRoleValid([ROLES.admin, ROLES.manager]),
+      validWorkspaceSlug,
+    ],
+    async function (request, response) {
+      try {
+        const { fileIds = [] } = reqBody(request);
+        if (!fileIds.length) return response.sendStatus(400).end();
+        const success = await WorkspaceParsedFiles.delete({
+          id: { in: fileIds.map((id) => parseInt(id)) },
+        });
+        return response.status(success ? 200 : 500).end();
+      } catch (e) {
+        console.error(e.message, e);
+        return response.sendStatus(500).end();
+      }
+    }
+  );
+
+  app.post(
+    "/workspace/:slug/embed-parsed-file/:fileId",
+    [
+      validatedRequest,
+      flexUserRoleValid([ROLES.admin, ROLES.manager]),
+      validWorkspaceSlug,
+    ],
+    async function (request, response) {
+      const { fileId = null } = request.params;
+      try {
+        const user = await userFromSession(request, response);
+        const workspace = response.locals.workspace;
+
+        if (!fileId) return response.sendStatus(400).end();
+        const { success, error, document } =
+          await WorkspaceParsedFiles.moveToDocumentsAndEmbed(fileId, workspace);
+
+        if (!success) {
+          return response.status(500).json({
+            success: false,
+            error: error || "Failed to embed file",
+          });
+        }
+
+        await Telemetry.sendTelemetry("document_embedded");
+        await EventLogs.logEvent(
+          "document_embedded",
+          {
+            documentName: document?.name || "unknown",
+            workspaceId: workspace.id,
+          },
+          user?.id
+        );
+
+        return response.status(200).json({
+          success: true,
+          error: null,
+          document,
+        });
+      } catch (e) {
+        console.error(e.message, e);
+        return response.sendStatus(500).end();
+      } finally {
+        if (!fileId) return;
+        await WorkspaceParsedFiles.delete({ id: parseInt(fileId) });
+      }
+    }
+  );
+
+  app.post(
+    "/workspace/:slug/parse",
+    [
+      validatedRequest,
+      flexUserRoleValid([ROLES.admin, ROLES.manager]),
+      handleFileUpload,
+      validWorkspaceSlug,
+    ],
+    async function (request, response) {
+      try {
+        const user = await userFromSession(request, response);
+        const workspace = response.locals.workspace;
+        const Collector = new CollectorApi();
+        const { originalname } = request.file;
+        const processingOnline = await Collector.online();
+
+        if (!processingOnline) {
+          return response.status(500).json({
+            success: false,
+            error: `Document processing API is not online. Document ${originalname} will not be parsed.`,
+          });
+        }
+
+        const { success, reason, documents } =
+          await Collector.parseDocument(originalname);
+        if (!success || !documents?.[0]) {
+          return response.status(500).json({
+            success: false,
+            error: reason || "No document returned from collector",
+          });
+        }
+
+        // Get thread ID if we have a slug
+        const { threadSlug = null } = reqBody(request);
+        const thread = threadSlug
+          ? await WorkspaceThread.get({
+              slug: String(threadSlug),
+              workspace_id: workspace.id,
+              user_id: user?.id || null,
+            })
+          : null;
+        const files = await Promise.all(
+          documents.map(async (doc) => {
+            const metadata = { ...doc };
+            // Strip out pageContent
+            delete metadata.pageContent;
+            const filename = `${originalname}-${doc.id}.json`;
+            const { file, error: dbError } = await WorkspaceParsedFiles.create({
+              filename,
+              workspaceId: workspace.id,
+              userId: user?.id || null,
+              threadId: thread?.id || null,
+              metadata: JSON.stringify(metadata),
+              tokenCountEstimate: doc.token_count_estimate || 0,
+            });
+
+            if (dbError) throw new Error(dbError);
+            return file;
+          })
+        );
+
+        Collector.log(`Document ${originalname} parsed successfully.`);
+        await EventLogs.logEvent(
+          "document_uploaded_to_chat",
+          {
+            documentName: originalname,
+            workspace: workspace.slug,
+            thread: thread?.name || null,
+          },
+          user?.id
+        );
+
+        return response.status(200).json({
+          success: true,
+          error: null,
+          files,
+        });
+      } catch (e) {
+        console.error(e.message, e);
+        return response.sendStatus(500).end();
+      }
+    }
+  );
+}
+
+module.exports = { workspaceParsedFilesEndpoints };
diff --git a/server/models/workspace.js b/server/models/workspace.js
index 0ddd1fbb77c..d17ffac6ba0 100644
--- a/server/models/workspace.js
+++ b/server/models/workspace.js
@@ -303,11 +303,10 @@ const Workspace = {
    */
   async _getCurrentContextTokenCount(workspaceId, threadId = null) {
     const { WorkspaceParsedFiles } = require("./workspaceParsedFiles");
-    const files = await WorkspaceParsedFiles.where({
+    return await WorkspaceParsedFiles.totalTokenCount({
       workspaceId: Number(workspaceId),
       threadId: threadId ? Number(threadId) : null,
     });
-    return files.reduce((sum, file) => sum + (file.tokenCountEstimate || 0), 0);
   },
 
   /**
@@ -341,7 +340,6 @@ const Workspace = {
       });
 
       if (!workspace) return null;
-
       return {
         ...workspace,
         contextWindow: this._getContextWindow(workspace),
diff --git a/server/models/workspaceParsedFiles.js b/server/models/workspaceParsedFiles.js
index 9497c7e5106..ee71a2c9949 100644
--- a/server/models/workspaceParsedFiles.js
+++ b/server/models/workspaceParsedFiles.js
@@ -81,7 +81,15 @@ const WorkspaceParsedFiles = {
     }
   },
 
-  moveToDocumentsAndEmbed: async function (fileId, workspaceId) {
+  totalTokenCount: async function (clause = {}) {
+    const { _sum } = await prisma.workspace_parsed_files.aggregate({
+      where: clause,
+      _sum: { tokenCountEstimate: true },
+    });
+    return _sum.tokenCountEstimate || 0;
+  },
+
+  moveToDocumentsAndEmbed: async function (fileId, workspace) {
     try {
       const parsedFile = await this.get({ id: parseInt(fileId) });
       if (!parsedFile) throw new Error("File not found");
@@ -105,9 +113,6 @@ const WorkspaceParsedFiles = {
       fs.copyFileSync(sourceFile, targetPath);
       fs.unlinkSync(sourceFile);
 
-      // Embed file
-      const workspace = await Workspace.get({ id: parseInt(workspaceId) });
-      if (!workspace) throw new Error("Workspace not found");
       const {
         failedToEmbed = [],
         errors = [],
@@ -118,22 +123,19 @@ const WorkspaceParsedFiles = {
         parsedFile.userId
       );
 
-      if (failedToEmbed.length > 0) {
+      if (failedToEmbed.length > 0)
         throw new Error(errors[0] || "Failed to embed document");
-      }
-
-      await this.delete({ id: parseInt(fileId) });
 
       const document = await Document.get({
-        workspaceId: parseInt(workspaceId),
+        workspaceId: workspace.id,
         docpath: embedded[0],
       });
-
       return { success: true, error: null, document };
     } catch (error) {
       console.error("Failed to move and embed file:", error);
       return { success: false, error: error.message, document: null };
     } finally {
+      // Always delete the file after processing
       await this.delete({ id: parseInt(fileId) });
     }
   },
@@ -146,8 +148,8 @@ const WorkspaceParsedFiles = {
     try {
       if (!workspace) throw new Error("Workspace is required");
       const files = await this.where({
-        workspaceId: parseInt(workspace.id),
-        threadId: thread?.id ? parseInt(thread.id) : null,
+        workspaceId: workspace.id,
+        threadId: thread?.id || null,
         ...(user ? { userId: user.id } : {}),
       });
 
@@ -183,8 +185,8 @@ const WorkspaceParsedFiles = {
   getContextFiles: async function (workspace, thread = null, user = null) {
     try {
       const files = await this.where({
-        workspaceId: parseInt(workspace.id),
-        threadId: thread?.id ? parseInt(thread.id) : null,
+        workspaceId: workspace.id,
+        threadId: thread?.id || null,
         ...(user ? { userId: user.id } : {}),
       });
 

From 1f97a01478eb21696d5efdc8b97bb00c4a9e7e57 Mon Sep 17 00:00:00 2001
From: timothycarambat <rambat1010@gmail.com>
Date: Fri, 8 Aug 2025 09:09:07 -0700
Subject: [PATCH 14/19] button borders

---
 .../PromptInput/AttachItem/ParsedFilesMenu/index.jsx          | 4 ++--
 server/endpoints/workspacesParsedFiles.js                     | 1 -
 2 files changed, 2 insertions(+), 3 deletions(-)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
index 31df15c1d91..d662895fff4 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
@@ -113,7 +113,7 @@ export default function ParsedFilesMenu({
           <button
             onClick={handleEmbed}
             disabled={isEmbedding}
-            className="flex items-center justify-center gap-2 px-3 py-2 text-xs bg-primary-button hover:bg-theme-button-primary-hover text-white font-medium rounded transition-colors shadow-sm"
+            className="border-none flex items-center justify-center gap-2 px-3 py-2 text-xs bg-primary-button hover:bg-theme-button-primary-hover text-white font-medium rounded transition-colors shadow-sm"
           >
             {isEmbedding ? (
               <>
@@ -140,7 +140,7 @@ export default function ParsedFilesMenu({
               </div>
               <button
                 onClick={(e) => handleRemove(e, file)}
-                className="text-theme-text-secondary hover:text-theme-text-primary"
+                className="border-none text-theme-text-secondary hover:text-theme-text-primary"
                 disabled={isEmbedding}
               >
                 <X size={16} />
diff --git a/server/endpoints/workspacesParsedFiles.js b/server/endpoints/workspacesParsedFiles.js
index 228cc1cca8f..0bb227556b3 100644
--- a/server/endpoints/workspacesParsedFiles.js
+++ b/server/endpoints/workspacesParsedFiles.js
@@ -10,7 +10,6 @@ const { EventLogs } = require("../models/eventLogs");
 const { validWorkspaceSlug } = require("../utils/middleware/validWorkspace");
 const { CollectorApi } = require("../utils/collectorApi");
 const { WorkspaceThread } = require("../models/workspaceThread");
-
 const { WorkspaceParsedFiles } = require("../models/workspaceParsedFiles");
 
 function workspaceParsedFilesEndpoints(app) {

From 1eddfe1624374e2c070835c1a18ba4e0fbff4dc0 Mon Sep 17 00:00:00 2001
From: timothycarambat <rambat1010@gmail.com>
Date: Fri, 8 Aug 2025 10:03:45 -0700
Subject: [PATCH 15/19] enable default users to upload parsed files but NOT
 embed

---
 .../ChatContainer/ChatTooltips/index.jsx      |  6 ++
 .../FileUploadWarningModal/index.jsx          | 60 ++++++++++++-------
 .../ChatContainer/DnDWrapper/index.jsx        | 27 ++-------
 .../AttachItem/ParsedFilesMenu/index.jsx      | 42 +++++++++++--
 .../PromptInput/AttachItem/index.jsx          |  2 -
 frontend/src/utils/paths.js                   |  7 +++
 server/endpoints/workspacesParsedFiles.js     |  9 +--
 7 files changed, 96 insertions(+), 57 deletions(-)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/ChatTooltips/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/ChatTooltips/index.jsx
index de1b1234525..671e0fd4357 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/ChatTooltips/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/ChatTooltips/index.jsx
@@ -78,6 +78,12 @@ export function ChatTooltips() {
         delayShow={500}
         className="tooltip !text-xs max-w-[350px]"
       />
+      <Tooltip
+        id="context-window-limit-exceeded"
+        place="top"
+        delayShow={500}
+        className="tooltip !text-xs max-w-[350px]"
+      />
       <DocumentLevelTooltip />
     </>
   );
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
index 3abf13af7a0..b5b6d9a8aeb 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/FileUploadWarningModal/index.jsx
@@ -2,6 +2,10 @@ import { CircleNotch } from "@phosphor-icons/react";
 import ModalWrapper from "@/components/ModalWrapper";
 import pluralize from "pluralize";
 import { numberWithCommas } from "@/utils/numbers";
+import useUser from "@/hooks/useUser";
+import { Link } from "react-router-dom";
+import Paths from "@/utils/paths";
+import Workspace from "@/models/workspace";
 
 export default function FileUploadWarningModal({
   show,
@@ -14,6 +18,8 @@ export default function FileUploadWarningModal({
   isEmbedding = false,
   embedProgress = 0,
 }) {
+  const { user } = useUser();
+  const canEmbed = !user || user.role !== "default";
   if (!show) return null;
 
   if (isEmbedding) {
@@ -47,16 +53,26 @@ export default function FileUploadWarningModal({
         </div>
 
         <div className="py-7 px-9 space-y-4">
-          <p className="text-white text-sm">
+          <p className="text-theme-text-primary text-sm">
             Your workspace is using {numberWithCommas(tokenCount)} of{" "}
             {numberWithCommas(maxTokens)} available tokens. We recommend keeping
-            usage below 80% to ensure the best chat experience. Adding{" "}
-            {fileCount} more {pluralize("file", fileCount)} would exceed this
-            limit. Choose how you would like to proceed:
+            usage below {(Workspace.maxContextWindowLimit * 100).toFixed(0)}% to
+            ensure the best chat experience. Adding {fileCount} more{" "}
+            {pluralize("file", fileCount)} would exceed this limit.{" "}
+            <Link
+              target="_blank"
+              to={Paths.documentation.contextWindows()}
+              className="text-theme-text-secondary text-sm underline"
+            >
+              Learn more about context windows &rarr;
+            </Link>
+          </p>
+          <p className="text-theme-text-primary text-sm">
+            Choose how you would like to proceed with these uploads.
           </p>
         </div>
 
-        <div className="flex w-full justify-end items-center p-6 space-x-2 border-t border-theme-modal-border rounded-b">
+        <div className="flex w-full justify-between items-center p-6 space-x-2 border-t border-theme-modal-border rounded-b">
           <button
             onClick={onClose}
             type="button"
@@ -64,21 +80,25 @@ export default function FileUploadWarningModal({
           >
             Cancel
           </button>
-          <button
-            onClick={onContinue}
-            type="button"
-            className="border-none transition-all duration-300 bg-theme-modal-border text-white hover:opacity-60 px-4 py-2 rounded-lg text-sm"
-          >
-            Continue Anyway
-          </button>
-          <button
-            onClick={onEmbed}
-            disabled={isEmbedding}
-            type="button"
-            className="border-none transition-all duration-300 bg-white text-black hover:opacity-60 px-4 py-2 rounded-lg text-sm"
-          >
-            Embed {pluralize("File", fileCount)}
-          </button>
+          <div className="flex w-full justify-end items-center space-x-2">
+            <button
+              onClick={onContinue}
+              type="button"
+              className="border-none transition-all duration-300 bg-theme-modal-border text-white hover:opacity-60 px-4 py-2 rounded-lg text-sm"
+            >
+              Continue Anyway
+            </button>
+            {canEmbed && (
+              <button
+                onClick={onEmbed}
+                disabled={isEmbedding || !canEmbed}
+                type="button"
+                className="border-none transition-all duration-300 bg-white text-black hover:opacity-60 px-4 py-2 rounded-lg text-sm"
+              >
+                Embed {pluralize("File", fileCount)}
+              </button>
+            )}
+          </div>
         </div>
       </div>
     </ModalWrapper>
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index d9bfd5a8c71..98c1abb10cf 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -5,7 +5,6 @@ import { useDropzone } from "react-dropzone";
 import DndIcon from "./dnd-icon.png";
 import Workspace from "@/models/workspace";
 import showToast from "@/utils/toast";
-import useUser from "@/hooks/useUser";
 import FileUploadWarningModal from "./FileUploadWarningModal";
 import pluralize from "pluralize";
 
@@ -55,11 +54,10 @@ export function DnDFileUploaderProvider({
   const [pendingFiles, setPendingFiles] = useState([]);
   const [tokenCount, setTokenCount] = useState(0);
   const [maxTokens, setMaxTokens] = useState(Number.POSITIVE_INFINITY);
-  const { user } = useUser();
 
   useEffect(() => {
     System.checkDocumentProcessorOnline().then((status) => setReady(status));
-  }, [user]);
+  }, []);
 
   useEffect(() => {
     window.addEventListener(REMOVE_ATTACHMENT_EVENT, handleRemove);
@@ -158,8 +156,6 @@ export function DnDFileUploaderProvider({
           type: "attachment",
         });
       } else {
-        // If the user is a default user, we do not want to allow them to upload files.
-        if (!!user && user.role === "default") continue;
         newAccepted.push({
           uid: v4(),
           file,
@@ -195,8 +191,6 @@ export function DnDFileUploaderProvider({
           type: "attachment",
         });
       } else {
-        // If the user is a default user, we do not want to allow them to upload files.
-        if (!!user && user.role === "default") continue;
         newAccepted.push({
           uid: v4(),
           file,
@@ -435,8 +429,6 @@ export default function DnDFileUploaderWrapper({ children }) {
     onDragEnter: () => setDragging(true),
     onDragLeave: () => setDragging(false),
   });
-  const { user } = useUser();
-  const canUploadAll = !user || user?.role !== "default";
 
   return (
     <div
@@ -455,21 +447,10 @@ export default function DnDFileUploaderWrapper({ children }) {
               height={69}
               alt="Drag and drop icon"
             />
-            <p className="text-white text-[24px] font-semibold">
-              Add {canUploadAll ? "anything" : "an image"}
-            </p>
+            <p className="text-white text-[24px] font-semibold">Add anything</p>
             <p className="text-white text-[16px] text-center">
-              {canUploadAll ? (
-                <>
-                  Drop your file here to embed it into your <br />
-                  workspace auto-magically.
-                </>
-              ) : (
-                <>
-                  Drop your image here to chat with it <br />
-                  auto-magically.
-                </>
-              )}
+              Drop a file or image here to attach it to your <br />
+              workspace auto-magically.
             </p>
           </div>
         </div>
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
index d662895fff4..b9a8392733e 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/ParsedFilesMenu/index.jsx
@@ -6,6 +6,7 @@ import { nFormatter } from "@/utils/numbers";
 import showToast from "@/utils/toast";
 import pluralize from "pluralize";
 import { PARSED_FILE_ATTACHMENT_REMOVED_EVENT } from "../../../DnDWrapper";
+import useUser from "@/hooks/useUser";
 
 export default function ParsedFilesMenu({
   onEmbeddingChange,
@@ -17,11 +18,16 @@ export default function ParsedFilesMenu({
   contextWindow,
   isLoading,
 }) {
+  const { user } = useUser();
+  const canEmbed = !user || user.role !== "default";
+  const initialContextWindowLimitExceeded =
+    currentTokens >= contextWindow * Workspace.maxContextWindowLimit;
   const { slug, threadSlug = null } = useParams();
   const [isEmbedding, setIsEmbedding] = useState(false);
   const [embedProgress, setEmbedProgress] = useState(1);
-  const contextWindowLimitExceeded =
-    currentTokens >= contextWindow * Workspace.maxContextWindowLimit;
+  const [contextWindowLimitExceeded, setContextWindowLimitExceeded] = useState(
+    initialContextWindowLimitExceeded
+  );
 
   async function handleRemove(e, file) {
     e.preventDefault();
@@ -44,7 +50,11 @@ export default function ParsedFilesMenu({
       slug,
       threadSlug
     );
+    const newContextWindowLimitExceeded =
+      currentContextTokenCount >=
+      contextWindow * Workspace.maxContextWindowLimit;
     setCurrentTokens(currentContextTokenCount);
+    setContextWindowLimitExceeded(newContextWindowLimitExceeded);
   }
 
   /**
@@ -73,6 +83,10 @@ export default function ParsedFilesMenu({
         threadSlug
       );
       setCurrentTokens(currentContextTokenCount);
+      setContextWindowLimitExceeded(
+        currentContextTokenCount >=
+          contextWindow * Workspace.maxContextWindowLimit
+      );
       showToast(
         `${files.length} ${pluralize("file", files.length)} embedded successfully`,
         "success"
@@ -93,11 +107,27 @@ export default function ParsedFilesMenu({
         <div className="text-sm font-medium text-theme-text-primary">
           Current Context ({files.length} files)
         </div>
-        <div className="text-xs text-theme-text-secondary">
-          {nFormatter(currentTokens)} / {nFormatter(contextWindow)} tokens
+        <div
+          // If the user cannot see the embed CTA, show a tooltip
+          {...(contextWindowLimitExceeded &&
+            !canEmbed && {
+              "data-tooltip-id": "context-window-limit-exceeded",
+              "data-tooltip-content":
+                "You have exceeded the context window limit. Some files may be truncated or excluded from chat responses. Responses may hallucinate or lack relevant information.",
+            })}
+          className={`flex items-center gap-x-1 ${contextWindowLimitExceeded && !canEmbed ? "cursor-pointer" : ""}`}
+        >
+          {contextWindowLimitExceeded && (
+            <Warning size={14} className="text-orange-600" />
+          )}
+          <div
+            className={`text-xs ${contextWindowLimitExceeded ? "text-orange-600" : "text-theme-text-secondary"}`}
+          >
+            {nFormatter(currentTokens)} / {nFormatter(contextWindow)} tokens
+          </div>
         </div>
       </div>
-      {contextWindowLimitExceeded && (
+      {contextWindowLimitExceeded && canEmbed && (
         <div className="flex flex-col gap-2 p-2 bg-theme-bg-secondary light:bg-theme-bg-primary rounded">
           <div className="flex items-start gap-2">
             <Warning
@@ -113,7 +143,7 @@ export default function ParsedFilesMenu({
           <button
             onClick={handleEmbed}
             disabled={isEmbedding}
-            className="border-none flex items-center justify-center gap-2 px-3 py-2 text-xs bg-primary-button hover:bg-theme-button-primary-hover text-white font-medium rounded transition-colors shadow-sm"
+            className="border-none disabled:opacity-50 flex items-center justify-center gap-2 px-3 py-2 text-xs bg-primary-button hover:bg-theme-button-primary-hover text-white font-medium rounded transition-colors shadow-sm"
           >
             {isEmbedding ? (
               <>
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
index 70b1b211ef3..cf3bbedb006 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/PromptInput/AttachItem/index.jsx
@@ -18,7 +18,6 @@ import ParsedFilesMenu from "./ParsedFilesMenu";
  */
 export default function AttachItem() {
   const { t } = useTranslation();
-  const { user } = useUser();
   const { theme } = useTheme();
   const { slug, threadSlug = null } = useParams();
   const tooltipRef = useRef(null);
@@ -80,7 +79,6 @@ export default function AttachItem() {
     };
   }, [slug, threadSlug]);
 
-  if (!!user && user.role === "default") return null;
   return (
     <>
       <button
diff --git a/frontend/src/utils/paths.js b/frontend/src/utils/paths.js
index 966fd9c25d3..980dcaf77be 100644
--- a/frontend/src/utils/paths.js
+++ b/frontend/src/utils/paths.js
@@ -211,6 +211,13 @@ export default {
     },
   },
 
+  // TODO: Migrate all docs.anythingllm.com links to the new docs.
+  documentation: {
+    contextWindows: () => {
+      return "https://docs.anythingllm.com/features/context-windows";
+    },
+  },
+
   experimental: {
     liveDocumentSync: {
       manage: () => `/settings/beta-features/live-document-sync/manage`,
diff --git a/server/endpoints/workspacesParsedFiles.js b/server/endpoints/workspacesParsedFiles.js
index 0bb227556b3..1aa1c02fd65 100644
--- a/server/endpoints/workspacesParsedFiles.js
+++ b/server/endpoints/workspacesParsedFiles.js
@@ -45,11 +45,7 @@ function workspaceParsedFilesEndpoints(app) {
 
   app.delete(
     "/workspace/:slug/delete-parsed-files",
-    [
-      validatedRequest,
-      flexUserRoleValid([ROLES.admin, ROLES.manager]),
-      validWorkspaceSlug,
-    ],
+    [validatedRequest, flexUserRoleValid([ROLES.all]), validWorkspaceSlug],
     async function (request, response) {
       try {
         const { fileIds = [] } = reqBody(request);
@@ -69,6 +65,7 @@ function workspaceParsedFilesEndpoints(app) {
     "/workspace/:slug/embed-parsed-file/:fileId",
     [
       validatedRequest,
+      // Embed is still an admin/manager only feature
       flexUserRoleValid([ROLES.admin, ROLES.manager]),
       validWorkspaceSlug,
     ],
@@ -118,7 +115,7 @@ function workspaceParsedFilesEndpoints(app) {
     "/workspace/:slug/parse",
     [
       validatedRequest,
-      flexUserRoleValid([ROLES.admin, ROLES.manager]),
+      flexUserRoleValid([ROLES.all]),
       handleFileUpload,
       validWorkspaceSlug,
     ],

From a7c345546107d79ccc71f0a2ae4a14d59f86dcfd Mon Sep 17 00:00:00 2001
From: timothycarambat <rambat1010@gmail.com>
Date: Fri, 8 Aug 2025 10:16:34 -0700
Subject: [PATCH 16/19] delete cascade on user/workspace/thread deletion to
 remove parsedFileRecord

---
 .../migration.sql                             |  3 +-
 server/prisma/schema.prisma                   | 32 ++++++++++---------
 2 files changed, 19 insertions(+), 16 deletions(-)
 rename server/prisma/migrations/{20250801213234_init => 20250808171557_init}/migration.sql (79%)

diff --git a/server/prisma/migrations/20250801213234_init/migration.sql b/server/prisma/migrations/20250808171557_init/migration.sql
similarity index 79%
rename from server/prisma/migrations/20250801213234_init/migration.sql
rename to server/prisma/migrations/20250808171557_init/migration.sql
index 5af540b078e..4b3e7514bb5 100644
--- a/server/prisma/migrations/20250801213234_init/migration.sql
+++ b/server/prisma/migrations/20250808171557_init/migration.sql
@@ -9,7 +9,8 @@ CREATE TABLE "workspace_parsed_files" (
     "tokenCountEstimate" INTEGER DEFAULT 0,
     "createdAt" DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,
     CONSTRAINT "workspace_parsed_files_workspaceId_fkey" FOREIGN KEY ("workspaceId") REFERENCES "workspaces" ("id") ON DELETE CASCADE ON UPDATE CASCADE,
-    CONSTRAINT "workspace_parsed_files_userId_fkey" FOREIGN KEY ("userId") REFERENCES "users" ("id") ON DELETE SET NULL ON UPDATE CASCADE
+    CONSTRAINT "workspace_parsed_files_userId_fkey" FOREIGN KEY ("userId") REFERENCES "users" ("id") ON DELETE CASCADE ON UPDATE CASCADE,
+    CONSTRAINT "workspace_parsed_files_threadId_fkey" FOREIGN KEY ("threadId") REFERENCES "workspace_threads" ("id") ON DELETE CASCADE ON UPDATE CASCADE
 );
 
 -- CreateIndex
diff --git a/server/prisma/schema.prisma b/server/prisma/schema.prisma
index 28f734c7ed6..a3db69f1e2b 100644
--- a/server/prisma/schema.prisma
+++ b/server/prisma/schema.prisma
@@ -154,15 +154,16 @@ model workspaces {
 }
 
 model workspace_threads {
-  id            Int        @id @default(autoincrement())
-  name          String
-  slug          String     @unique
-  workspace_id  Int
-  user_id       Int?
-  createdAt     DateTime   @default(now())
-  lastUpdatedAt DateTime   @default(now())
-  workspace     workspaces @relation(fields: [workspace_id], references: [id], onDelete: Cascade)
-  user          users?     @relation(fields: [user_id], references: [id], onDelete: Cascade)
+  id                     Int                      @id @default(autoincrement())
+  name                   String
+  slug                   String                   @unique
+  workspace_id           Int
+  user_id                Int?
+  createdAt              DateTime                 @default(now())
+  lastUpdatedAt          DateTime                 @default(now())
+  workspace              workspaces               @relation(fields: [workspace_id], references: [id], onDelete: Cascade)
+  user                   users?                   @relation(fields: [user_id], references: [id], onDelete: Cascade)
+  workspace_parsed_files workspace_parsed_files[]
 
   @@index([workspace_id])
   @@index([user_id])
@@ -375,16 +376,17 @@ model desktop_mobile_devices {
 }
 
 model workspace_parsed_files {
-  id                 Int        @id @default(autoincrement())
-  filename           String     @unique
+  id                 Int                @id @default(autoincrement())
+  filename           String             @unique
   workspaceId        Int
   userId             Int?
   threadId           Int?
   metadata           String?
-  tokenCountEstimate Int?       @default(0)
-  createdAt          DateTime   @default(now())
-  workspace          workspaces @relation(fields: [workspaceId], references: [id], onDelete: Cascade)
-  user               users?     @relation(fields: [userId], references: [id], onDelete: SetNull)
+  tokenCountEstimate Int?               @default(0)
+  createdAt          DateTime           @default(now())
+  workspace          workspaces         @relation(fields: [workspaceId], references: [id], onDelete: Cascade)
+  user               users?             @relation(fields: [userId], references: [id], onDelete: Cascade)
+  thread             workspace_threads? @relation(fields: [threadId], references: [id], onDelete: Cascade)
 
   @@index([workspaceId])
   @@index([userId])

From 2c1403cb3709ea73371bf2c5d832071042edd5cb Mon Sep 17 00:00:00 2001
From: timothycarambat <rambat1010@gmail.com>
Date: Fri, 8 Aug 2025 10:51:50 -0700
Subject: [PATCH 17/19] enable bgworker with "always" jobs and optional
 document sync jobs orphan document job: Will find any broken reference files
 to prevent overpollution of the storage folder. This will run 10s after boot
 and every 12hr after

---
 server/jobs/cleanup-orphan-documents.js | 63 +++++++++++++++++++++++++
 server/models/workspaceParsedFiles.js   | 10 +++-
 server/utils/BackgroundWorkers/index.js | 43 +++++++++++------
 3 files changed, 100 insertions(+), 16 deletions(-)
 create mode 100644 server/jobs/cleanup-orphan-documents.js

diff --git a/server/jobs/cleanup-orphan-documents.js b/server/jobs/cleanup-orphan-documents.js
new file mode 100644
index 00000000000..28372f841de
--- /dev/null
+++ b/server/jobs/cleanup-orphan-documents.js
@@ -0,0 +1,63 @@
+const fs = require('fs');
+const path = require('path');
+const { log, conclude } = require('./helpers/index.js');
+const { WorkspaceParsedFiles } = require('../models/workspaceParsedFiles.js');
+const { directUploadsPath } = require('../utils/files');
+
+async function batchDeleteFiles(filesToDelete, batchSize = 500) {
+  let deletedCount = 0;
+  let failedCount = 0;
+
+  for (let i = 0; i < filesToDelete.length; i += batchSize) {
+    const batch = filesToDelete.slice(i, i + batchSize);
+
+    try {
+      await Promise.all(batch.map(filePath => fs.unlink(filePath)));
+      deletedCount += batch.length;
+
+      log(`Deleted batch ${Math.floor(i / batchSize) + 1}: ${batch.length} files`);
+    } catch (err) {
+      // If batch fails, try individual files sync
+      for (const filePath of batch) {
+        try {
+          fs.unlinkSync(filePath);
+          deletedCount++;
+        } catch (fileErr) {
+          failedCount++;
+          log(`Failed to delete ${filePath}: ${fileErr.message}`);
+        }
+      }
+    }
+  }
+
+  return { deletedCount, failedCount };
+}
+
+(async () => {
+  try {
+    const knownFiles = await WorkspaceParsedFiles
+      .where({}, null, null, { filename: true })
+      .then(files => new Set(files.map(f => f.filename)));
+
+    const filesToDelete = [];
+    const filesInDirectUploadsPath = fs.readdirSync(directUploadsPath);
+    if (filesInDirectUploadsPath.length === 0) return;
+
+    for (let i = 0; i < filesInDirectUploadsPath.length; i++) {
+      const file = filesInDirectUploadsPath[i];
+      if (knownFiles.has(file)) continue;
+      filesToDelete.push(path.resolve(directUploadsPath, file));
+    }
+
+    if (filesToDelete.length === 0) return; // No orphaned files to delete
+    log(`Found ${filesToDelete.length} orphaned files to delete`);
+    const { deletedCount, failedCount } = await batchDeleteFiles(filesToDelete);
+    log(`Deleted ${deletedCount} orphaned files`);
+    if (failedCount > 0) log(`Failed to delete ${failedCount} files`);
+  } catch (e) {
+    console.error(e)
+    log(`errored with ${e.message}`)
+  } finally {
+    conclude();
+  }
+})();
diff --git a/server/models/workspaceParsedFiles.js b/server/models/workspaceParsedFiles.js
index ee71a2c9949..24c6d13473a 100644
--- a/server/models/workspaceParsedFiles.js
+++ b/server/models/workspaceParsedFiles.js
@@ -1,7 +1,6 @@
 const prisma = require("../utils/prisma");
 const { EventLogs } = require("./eventLogs");
 const { Document } = require("./documents");
-const { Workspace } = require("./workspace");
 const { documentsPath, directUploadsPath } = require("../utils/files");
 const { safeJsonParse } = require("../utils/http");
 const fs = require("fs");
@@ -56,11 +55,18 @@ const WorkspaceParsedFiles = {
     }
   },
 
-  where: async function (clause = {}, limit = null) {
+  where: async function (
+    clause = {},
+    limit = null,
+    orderBy = null,
+    select = null
+  ) {
     try {
       const files = await prisma.workspace_parsed_files.findMany({
         where: clause,
         ...(limit !== null ? { take: limit } : {}),
+        ...(orderBy !== null ? { orderBy } : {}),
+        ...(select !== null ? { select } : {}),
       });
       return files;
     } catch (error) {
diff --git a/server/utils/BackgroundWorkers/index.js b/server/utils/BackgroundWorkers/index.js
index a13416164c7..836999d0baa 100644
--- a/server/utils/BackgroundWorkers/index.js
+++ b/server/utils/BackgroundWorkers/index.js
@@ -6,8 +6,26 @@ const setLogger = require("../logger");
 class BackgroundService {
   name = "BackgroundWorkerService";
   static _instance = null;
+  documentSyncEnabled = false;
   #root = path.resolve(__dirname, "../../jobs");
 
+  #alwaysRunJobs = [
+    {
+      name: "cleanup-orphan-documents",
+      timeout: "10s",
+      interval: "12hr",
+    },
+  ];
+
+  #documentSyncJobs = [
+    // Job for auto-sync of documents
+    // https://github.com/breejs/bree
+    {
+      name: "sync-watched-documents",
+      interval: "1hr",
+    },
+  ];
+
   constructor() {
     if (BackgroundService._instance) {
       this.#log("SINGLETON LOCK: Using existing BackgroundService.");
@@ -24,16 +42,15 @@ class BackgroundService {
 
   async boot() {
     const { DocumentSyncQueue } = require("../../models/documentSyncQueue");
-    if (!(await DocumentSyncQueue.enabled())) {
-      this.#log("Feature is not enabled and will not be started.");
-      return;
-    }
+    this.documentSyncEnabled = await DocumentSyncQueue.enabled();
+
+    const jobsToRun = this.jobs();
 
     this.#log("Starting...");
     this.bree = new Bree({
       logger: this.logger,
       root: this.#root,
-      jobs: this.jobs(),
+      jobs: jobsToRun,
       errorHandler: this.onError,
       workerMessageHandler: this.onWorkerMessageHandler,
       runJobsAs: "process",
@@ -41,7 +58,10 @@ class BackgroundService {
     this.graceful = new Graceful({ brees: [this.bree], logger: this.logger });
     this.graceful.listen();
     this.bree.start();
-    this.#log("Service started");
+    this.#log(
+      `Service started with ${jobsToRun.length} jobs`,
+      jobsToRun.map((j) => j.name)
+    );
   }
 
   async stop() {
@@ -54,14 +74,9 @@ class BackgroundService {
 
   /** @returns {import("@mintplex-labs/bree").Job[]} */
   jobs() {
-    return [
-      // Job for auto-sync of documents
-      // https://github.com/breejs/bree
-      {
-        name: "sync-watched-documents",
-        interval: "1hr",
-      },
-    ];
+    const activeJobs = [...this.#alwaysRunJobs];
+    if (this.documentSyncEnabled) activeJobs.push(...this.#documentSyncJobs);
+    return activeJobs;
   }
 
   onError(error, _workerMetadata) {

From 86ca8325b3579e83302cbb227a31f95205c3728a Mon Sep 17 00:00:00 2001
From: timothycarambat <rambat1010@gmail.com>
Date: Fri, 8 Aug 2025 10:52:43 -0700
Subject: [PATCH 18/19] change run timeout for orphan job to 1m to allow
 settling before spawning a worker

---
 server/utils/BackgroundWorkers/index.js | 2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

diff --git a/server/utils/BackgroundWorkers/index.js b/server/utils/BackgroundWorkers/index.js
index 836999d0baa..27df8dd6718 100644
--- a/server/utils/BackgroundWorkers/index.js
+++ b/server/utils/BackgroundWorkers/index.js
@@ -12,7 +12,7 @@ class BackgroundService {
   #alwaysRunJobs = [
     {
       name: "cleanup-orphan-documents",
-      timeout: "10s",
+      timeout: "1m",
       interval: "12hr",
     },
   ];

From f7da6b5215b5af3a6d17d8f85eaceb077b17a708 Mon Sep 17 00:00:00 2001
From: timothycarambat <rambat1010@gmail.com>
Date: Fri, 8 Aug 2025 11:00:33 -0700
Subject: [PATCH 19/19] linting and cleanup pr

---
 .../ChatContainer/DnDWrapper/index.jsx        |    2 +-
 .../WorkspaceChat/ChatContainer/index.jsx     |    2 +-
 frontend/src/locales/he/common.js             | 1383 ++++++++---------
 server/utils/BackgroundWorkers/index.js       |    1 -
 4 files changed, 666 insertions(+), 722 deletions(-)

diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
index 98c1abb10cf..776291df450 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/DnDWrapper/index.jsx
@@ -42,8 +42,8 @@ export const PARSED_FILE_ATTACHMENT_REMOVED_EVENT =
 
 export function DnDFileUploaderProvider({
   workspace,
-  children,
   threadSlug = null,
+  children,
 }) {
   const [files, setFiles] = useState([]);
   const [ready, setReady] = useState(false);
diff --git a/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx b/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
index 7feb753db59..6e961a95717 100644
--- a/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
+++ b/frontend/src/components/WorkspaceChat/ChatContainer/index.jsx
@@ -304,7 +304,7 @@ export default function ChatContainer({ workspace, knownHistory = [] }) {
       className="transition-all duration-500 relative md:ml-[2px] md:mr-[16px] md:my-[16px] md:rounded-[16px] bg-theme-bg-secondary w-full h-full overflow-y-scroll no-scroll z-[2]"
     >
       {isMobile && <SidebarMobileHeader />}
-      <DnDFileUploaderWrapper threadSlug={threadSlug}>
+      <DnDFileUploaderWrapper>
         <MetricsProvider>
           <ChatHistory
             history={chatHistory}
diff --git a/frontend/src/locales/he/common.js b/frontend/src/locales/he/common.js
index 5bdad597b2c..d022c0e682c 100644
--- a/frontend/src/locales/he/common.js
+++ b/frontend/src/locales/he/common.js
@@ -1,57 +1,51 @@
 // Anything with "null" requires a translation. Contribute to translation via a PR!
 const TRANSLATIONS = {
   onboarding: {
+    survey: {
+      email: null,
+      useCase: null,
+      useCaseWork: null,
+      useCasePersonal: null,
+      useCaseOther: null,
+      comment: null,
+      commentPlaceholder: null,
+      skip: null,
+      thankYou: null,
+      title: null,
+      description: null,
+    },
     home: {
-      title: "ברוכים הבאים ל",
-      getStarted: "להתחלה",
+      title: null,
+      getStarted: null,
     },
     llm: {
-      title: "העדפות מודל שפה (LLM)",
-      description:
-        "AnythingLLM יכול לעבוד עם ספקי מודלי שפה (LLM) רבים. זה יהיה השירות שיטפל בצ'אט.",
+      title: null,
+      description: null,
     },
     userSetup: {
-      title: "הגדרת משתמש",
-      description: "הגדר את הגדרות המשתמש שלך.",
-      howManyUsers: "כמה משתמשים ישתמשו במופע זה?",
-      justMe: "רק אני",
-      myTeam: "הצוות שלי",
-      instancePassword: "סיסמת מופע",
-      setPassword: "האם תרצה להגדיר סיסמה?",
-      passwordReq: "סיסמאות חייבות להכיל לפחות 8 תווים.",
-      passwordWarn: "חשוב לשמור סיסמה זו מכיוון שאין שיטת שחזור.",
-      adminUsername: "שם משתמש של חשבון מנהל",
-      adminUsernameReq:
-        "שם המשתמש חייב להכיל לפחות 6 תווים ויכול לכלול רק אותיות קטנות, מספרים, קווים תחתונים ומקפים, ללא רווחים.",
-      adminPassword: "סיסמת חשבון מנהל",
-      adminPasswordReq: "סיסמאות חייבות להכיל לפחות 8 תווים.",
-      teamHint:
-        "כברירת מחדל, אתה תהיה המנהל היחיד. לאחר סיום ההצטרפות תוכל ליצור ולהזמין אחרים להיות משתמשים או מנהלים. אל תאבד את סיסמתך, מכיוון שרק מנהלים יכולים לאפס סיסמאות.",
+      title: null,
+      description: null,
+      howManyUsers: null,
+      justMe: null,
+      myTeam: null,
+      instancePassword: null,
+      setPassword: null,
+      passwordReq: null,
+      passwordWarn: null,
+      adminUsername: null,
+      adminUsernameReq: null,
+      adminPassword: null,
+      adminPasswordReq: null,
+      teamHint: null,
     },
     data: {
-      title: "טיפול בנתונים ופרטיות",
-      description: "אנו מחויבים לשקיפות ושליטה בכל הנוגע לנתונים האישיים שלך.",
-      settingsHint: "ניתן להגדיר מחדש הגדרות אלה בכל עת בהגדרות.",
-    },
-    survey: {
-      title: "ברוכים הבאים ל-AnythingLLM",
-      description:
-        "עזרו לנו לבנות את AnythingLLM כך שיתאים לצרכים שלכם. אופציונלי.",
-      email: "מה האימייל שלך?",
-      useCase: "לאיזו מטרה תשתמש ב-AnythingLLM?",
-      useCaseWork: "לעבודה",
-      useCasePersonal: "לשימוש אישי",
-      useCaseOther: "אחר",
-      comment: "איך שמעת על AnythingLLM?",
-      commentPlaceholder:
-        "Reddit, Twitter, GitHub, YouTube, וכו' - ספר לנו איך מצאת אותנו!",
-      skip: "דלג על הסקר",
-      thankYou: "תודה על המשוב!",
+      title: null,
+      description: null,
+      settingsHint: null,
     },
     workspace: {
-      title: "צור את סביבת העבודה הראשונה שלך",
-      description:
-        "צור את סביבת העבודה הראשונה שלך והתחל לעבוד עם AnythingLLM.",
+      title: null,
+      description: null,
     },
   },
   common: {
@@ -60,14 +54,14 @@ const TRANSLATIONS = {
     success: "הצלחה",
     user: "משתמש",
     selection: "בחירת מודל",
-    saving: "שומר...",
+    saving: "שמירה...",
     save: "שמור שינויים",
     previous: "עמוד קודם",
     next: "עמוד הבא",
-    optional: "אופציונלי",
-    yes: "כן",
-    no: "לא",
-    search: "חיפוש",
+    optional: null,
+    yes: null,
+    no: null,
+    search: null,
   },
   settings: {
     title: "הגדרות מופע",
@@ -75,157 +69,74 @@ const TRANSLATIONS = {
     invites: "הזמנות",
     users: "משתמשים",
     workspaces: "סביבות עבודה",
-    "workspace-chats": "צ'אטים של סביבות עבודה",
+    "workspace-chats": "שיחות סביבת עבודה",
     customization: "התאמה אישית",
-    interface: "העדפות ממשק משתמש",
-    branding: "מיתוג והתאמה אישית (Whitelabeling)",
-    chat: "צ'אט",
-    "api-keys": "מפתחות API למפתחים",
-    llm: "מודל שפה (LLM)",
-    transcription: "תמלול",
-    embedder: "מטמיע (Embedder)",
-    "text-splitting": "פיצול טקסט וחלוקה למקטעים (Chunking)",
+    "api-keys": "מפתח API למפתחים",
+    llm: "LLM",
+    transcription: "העתקה",
+    embedder: "הטמעה",
+    "text-splitting": "מפריד טקסט וחלוקה",
     "voice-speech": "קול ודיבור",
-    "vector-database": "מסד נתונים וקטורי",
-    embeds: "הטמעות צ'אט (Embeds)",
-    "embed-chats": "היסטוריית הטמעות צ'אט",
+    "vector-database": "בסיס נתונים וקטור",
+    embeds: "הטמעת צ'אט",
+    "embed-chats": "היסטוריית הטמעת צ'אט",
     security: "אבטחה",
     "event-logs": "יומני אירועים",
     privacy: "פרטיות ונתונים",
-    "ai-providers": "ספקי בינה מלאכותית",
+    "ai-providers": "ספקי AI",
     "agent-skills": "כישורי סוכן",
     admin: "מנהל",
     tools: "כלים",
-    "system-prompt-variables": "משתני הנחיית מערכת",
     "experimental-features": "תכונות ניסיוניות",
     contact: "צור קשר עם התמיכה",
     "browser-extension": "תוסף דפדפן",
+    "system-prompt-variables": null,
+    interface: null,
+    branding: null,
+    chat: null,
   },
   login: {
     "multi-user": {
-      welcome: "ברוכים הבאים ל",
+      welcome: "ברוכים הבאים ל-",
       "placeholder-username": "שם משתמש",
       "placeholder-password": "סיסמה",
-      login: "התחברות",
+      login: "התחבר",
       validating: "מאמת...",
-      "forgot-pass": "שכחת סיסמה",
+      "forgot-pass": "שכחת סיסמה?",
       reset: "איפוס",
     },
     "sign-in": {
-      start: "התחבר ל",
-      end: "חשבונך.",
+      start: "התחבר לחשבון שלך ב-",
+      end: ".",
     },
     "password-reset": {
       title: "איפוס סיסמה",
-      description: "ספק את המידע הדרוש למטה כדי לאפס את סיסמתך.",
-      "recovery-codes": "קודיי שחזור",
+      description: "ספק את המידע הדרוש להלן כדי לאפס את הסיסמה שלך.",
+      "recovery-codes": "קודי שחזור",
       "recovery-code": "קוד שחזור {{index}}",
       "back-to-login": "חזרה להתחברות",
     },
   },
   welcomeMessage: {
     part1:
-      "ברוכים הבאים ל-AnythingLLM, כלי קוד פתוח מבית Mintplex Labs שהופך כל דבר לצ'אטבוט מאומן שאפשר לשאול ולשוחח איתו. AnythingLLM היא תוכנת BYOK (הבא-מפתחות-משלך) כך שאין מנוי, עמלה או חיובים עבור תוכנה זו מלבד השירותים שברצונך להשתמש בהם.",
+      "ברוכים הבאים ל-AnythingLLM, AnythingLLM היא כלי AI קוד פתוח מאת Mintplex Labs שהופך כל דבר לצ'אטבוט מאומן שאפשר לשאול אותו ולקיים איתו שיחה. AnythingLLM הוא תוכנה מסוג BYOK (הביא את המפתחות שלך) כך שאין מנוי, עמלה או חיובים עבור התוכנה הזו מלבד השירותים שאתה רוצה להשתמש בהם.",
     part2:
-      "AnythingLLM היא הדרך הקלה ביותר לשלב מוצרי AI חזקים כמו OpenAi, GPT-4, LangChain, PineconeDB, ChromaDB ושירותים אחרים בחבילה מסודרת אחת ללא מאמץ, כדי להגביר את הפרודוקטיביות שלך פי 100.",
+      "AnythingLLM היא הדרך הקלה ביותר לשלב מוצרים חזקים של AI כמו OpenAi, GPT-4, LangChain, PineconeDB, ChromaDB ושירותים אחרים בחבילה אחת ללא מאמץ כדי להגדיל את הפרודוקטיביות שלך פי 100.",
     part3:
-      "AnythingLLM יכול לרוץ באופן מקומי לחלוטין על המחשב שלך עם תקורה נמוכה, עד כדי כך שלא תשים לב שהוא שם! אין צורך ב-GPU. התקנה בענן ובשרתים מקומיים זמינה גם כן.\nמערכת כלי ה-AI מתחזקת מדי יום. AnythingLLM מקל על השימוש בה.",
+      "AnythingLLM יכול לפעול באופן מקומי לחלוטין על המחשב שלך עם מעט עלויות ביצוע שאתה אפילו לא תבחין בהן! לא נדרש GPU. התקנה בענן ובמקום היא זמינה גם כן.\nמערכת הכלים של AI הופכת חזקה יותר מדי יום. AnythingLLM הופכת את השימוש בה פשוט.",
     githubIssue: "צור בעיה ב-GitHub",
     user1: "איך אני מתחיל?!",
     part4:
-      'זה פשוט. כל האוספים מאורגנים בתוך מה שאנו מכנים "סביבות עבודה". סביבות עבודה הן מאגרים של קבצים, מסמכים, תמונות, קובצי PDF וקבצים אחרים שיהפכו למשהו שמודלי שפה (LLM) יכולים להבין ולהשתמש בו בשיחה.\n\nתוכל להוסיף ולהסיר קבצים בכל עת.',
+      "זה פשוט. כל אוסף מאורגן לדליים שאנחנו קוראים להם 'סביבות עבודה'. סביבות עבודה הן דליים של קבצים, מסמכים, תמונות, PDF וקבצים אחרים שיהפכו למשהו ש-LLM יכולות להבין ולעשות איתו שימוש בשיחה.\n\nתוכל להוסיף ולהסיר קבצים בכל עת.",
     createWorkspace: "צור את סביבת העבודה הראשונה שלך",
-    user2: "זה כמו דרופבוקס חכם או משהו? ומה לגבי צ'אט? זה צ'אטבוט, לא?",
+    user2: "האם זה כמו Dropbox AI או משהו כזה? מה לגבי צ'אט? זה צ'אטבוט לא?",
     part5:
-      "AnythingLLM הוא יותר מדרופבוקס חכם.\n\nAnythingLLM מציע שתי דרכים לדבר עם הנתונים שלך:\n\n<i>שאילתה:</i> הצ'אטים שלך יחזירו נתונים או מסקנות שנמצאו באמצעות המסמכים בסביבת העבודה שיש לו גישה אליהם. הוספת מסמכים נוספים לסביבת העבודה הופכת אותו לחכם יותר! \n\n<i>שיחה:</i> המסמכים שלך + היסטוריית הצ'אט המתמשכת שלך תורמים שניהם לידע של מודל השפה בו-זמנית. מצוין להוספת מידע טקסטואלי בזמן אמת או תיקונים ואי-הבנות שעלולות להיות למודל השפה. \n\nתוכל לעבור בין שני המצבים \n<i>באמצע השיחה!</i>",
-    user3: "וואו, זה נשמע מדהים, תן לי כבר לנסות!",
+      "AnythingLLM היא יותר מ-Dropbox חכם יותר.\n\nAnythingLLM מציעה שתי דרכים לשוחח עם הנתונים שלך:\n\n<i>שאילתה:</i> השיחות שלך יחזירו נתונים או מסקנות שנמצאות במסמכים בסביבת העבודה שלך אליה יש לה גישה. הוספת עוד מסמכים לסביבת העבודה הופכת אותה לחכמה יותר! \n\n<i>שיחה:</i> המסמכים שלך + היסטוריית השיחה הנוכחית שלך תורמות יחד לידע של LLM בו זמנית. נהדר להוספת מידע טקסטואלי בזמן אמת או תיקונים וחוסר הבנות שאולי יהיו ל-LLM.\n\nאתה יכול לעבור בין שני המצבים \n<i>אפילו באמצע שיחה!</i>",
+    user3: "וואו, זה נשמע מדהים, תן לי לנסות את זה כבר!",
     part6: "תהנה!",
-    starOnGitHub: "סמן בכוכב ב-GitHub",
+    starOnGitHub: "שים כוכב ב-GitHub",
     contact: "צור קשר עם Mintplex Labs",
   },
-  "main-page": {
-    noWorkspaceError: "אנא צור סביבת עבודה לפני התחלת צ'אט.",
-    checklist: {
-      title: "תחילת עבודה",
-      tasksLeft: "משימות נותרו",
-      completed: "אתה בדרך להפוך למומחה AnythingLLM!",
-      dismiss: "סגור",
-      tasks: {
-        create_workspace: {
-          title: "צור סביבת עבודה",
-          description: "צור את סביבת העבודה הראשונה שלך כדי להתחיל",
-          action: "צור",
-        },
-        send_chat: {
-          title: "שלח צ'אט",
-          description: "התחל שיחה עם עוזר ה-AI שלך",
-          action: "צ'אט",
-        },
-        embed_document: {
-          title: "הטמע מסמך",
-          description: "הוסף את המסמך הראשון שלך לסביבת העבודה",
-          action: "הטמע",
-        },
-        setup_system_prompt: {
-          title: "הגדר הנחיית מערכת",
-          description: "הגדר את התנהגות עוזר ה-AI שלך",
-          action: "הגדר",
-        },
-        define_slash_command: {
-          title: "הגדר פקודת סלאש",
-          description: "צור פקודות מותאמות אישית עבור העוזר שלך",
-          action: "הגדר",
-        },
-        visit_community: {
-          title: "בקר במרכז הקהילה",
-          description: "גלה משאבים ותבניות מהקהילה",
-          action: "עיין",
-        },
-      },
-    },
-    quickLinks: {
-      title: "קישורים מהירים",
-      sendChat: "שלח צ'אט",
-      embedDocument: "הטמע מסמך",
-      createWorkspace: "צור סביבת עבודה",
-    },
-    exploreMore: {
-      title: "גלה תכונות נוספות",
-      features: {
-        customAgents: {
-          title: "סוכני AI מותאמים אישית",
-          description: "בנה סוכני AI ואוטומציות חזקות ללא קוד.",
-          primaryAction: "צ'אט באמצעות @agent",
-          secondaryAction: "בנה זרימת סוכן",
-        },
-        slashCommands: {
-          title: "פקודות סלאש",
-          description:
-            "חסוך זמן והזרק הנחיות באמצעות פקודות סלאש מותאמות אישית.",
-          primaryAction: "צור פקודת סלאש",
-          secondaryAction: "גלה במרכז הקהילה",
-        },
-        systemPrompts: {
-          title: "הנחיות מערכת",
-          description:
-            "שנה את הנחיית המערכת כדי להתאים אישית את תשובות ה-AI של סביבת עבודה.",
-          primaryAction: "שנה הנחיית מערכת",
-          secondaryAction: "נהל משתני הנחיה",
-        },
-      },
-    },
-    announcements: {
-      title: "עדכונים והודעות",
-    },
-    resources: {
-      title: "משאבים",
-      links: {
-        docs: "תיעוד",
-        star: "סמן בכוכב ב-Github",
-      },
-      keyboardShortcuts: "קיצורי מקלדת",
-    },
-  },
   "new-workspace": {
     title: "סביבת עבודה חדשה",
     placeholder: "סביבת העבודה שלי",
@@ -233,20 +144,20 @@ const TRANSLATIONS = {
   "workspaces—settings": {
     general: "הגדרות כלליות",
     chat: "הגדרות צ'אט",
-    vector: "מסד נתונים וקטורי",
+    vector: "בסיס נתונים וקטור",
     members: "חברים",
-    agent: "תצורת סוכן",
+    agent: "קונפיגורציה של סוכן",
   },
   general: {
     vector: {
       title: "ספירת וקטורים",
-      description: "המספר הכולל של וקטורים במסד הנתונים הווקטורי שלך.",
+      description: "מספר הווקטורים הכולל בבסיס הנתונים הווקטורי שלך.",
     },
     names: {
       description: "זה ישנה רק את שם התצוגה של סביבת העבודה שלך.",
     },
     message: {
-      title: "הודעות צ'אט מוצעות",
+      title: "הודעות הצ'אט המוצעות",
       description: "התאם אישית את ההודעות שיוצעו למשתמשי סביבת העבודה שלך.",
       add: "הוסף הודעה חדשה",
       save: "שמור הודעות",
@@ -254,287 +165,191 @@ const TRANSLATIONS = {
       body: "את היתרונות של AnythingLLM",
     },
     pfp: {
-      title: "תמונת פרופיל של העוזר",
-      description: "התאם אישית את תמונת הפרופיל של העוזר עבור סביבת עבודה זו.",
+      title: "תמונת פרופיל של עוזר",
+      description:
+        "התאם אישית את תמונת הפרופיל של העוזר עבור סביבת העבודה הזו.",
       image: "תמונת סביבת עבודה",
       remove: "הסר תמונת סביבת עבודה",
     },
     delete: {
       title: "מחק סביבת עבודה",
       description:
-        "מחק סביבת עבודה זו ואת כל הנתונים שלה. פעולה זו תמחק את סביבת העבודה עבור כל המשתמשים.",
+        "מחק סביבת עבודה זו וכל הנתונים שלה. זה ימחק את סביבת העבודה עבור כל המשתמשים.",
       delete: "מחק סביבת עבודה",
       deleting: "מוחק סביבת עבודה...",
       "confirm-start": "אתה עומד למחוק את כל",
       "confirm-end":
-        "סביבת העבודה שלך. פעולה זו תסיר את כל הטמעות הווקטורים ממסד הנתונים הווקטורי שלך.\n\nקבצי המקור המקוריים יישארו ללא שינוי. פעולה זו אינה הפיכה.",
+        "סביבת העבודה שלך. זה ימחק את כל הטבעות הווקטוריות בבסיס הנתונים הווקטורי שלך.\n\nקבצי המקור המקוריים יישארו ללא שינוי. פעולה זו היא בלתי הפיכה.",
     },
   },
   chat: {
     llm: {
-      title: "ספק מודל שפה (LLM) של סביבת העבודה",
+      title: "ספק LLM של סביבת עבודה",
       description:
-        "ספק ומודל ה-LLM הספציפיים שישמשו עבור סביבת עבודה זו. כברירת מחדל, הוא משתמש בספק ובהגדרות ה-LLM של המערכת.",
-      search: "חפש בכל ספקי ה-LLM",
+        "ספק LLM ספציפי ודגם שייעשה בו שימוש עבור סביבת העבודה הזו. כברירת מחדל, הוא משתמש בספק LLM ובהגדרות של המערכת.",
+      search: "חפש בכל ספקי LLM",
     },
     model: {
-      title: "מודל צ'אט של סביבת העבודה",
+      title: "דגם צ'אט של סביבת עבודה",
       description:
-        "מודל הצ'אט הספציפי שישמש עבור סביבת עבודה זו. אם ריק, ישתמש בהעדפת ה-LLM של המערכת.",
-      wait: "-- ממתין למודלים --",
+        "דגם הצ'אט הספציפי שייעשה בו שימוש עבור סביבת העבודה הזו. אם הוא ריק, ייעשה שימוש בהעדפת LLM של המערכת.",
+      wait: "-- מחכה לדגמים --",
     },
     mode: {
       title: "מצב צ'אט",
       chat: {
         title: "צ'אט",
-        "desc-start": "יספק תשובות עם הידע הכללי של מודל השפה",
-        and: "וכן",
-        "desc-end": "מהקשר המסמכים שנמצא.",
+        "desc-start": "יספק תשובות עם הידע הכללי של LLM",
+        and: "ו-",
+        "desc-end": "הקשר של המסמך שנמצא.",
       },
       query: {
         title: "שאילתה",
         "desc-start": "יספק תשובות",
         only: "רק",
-        "desc-end": "אם נמצא הקשר במסמכים.",
+        "desc-end": "אם נמצא הקשר של מסמך.",
       },
     },
     history: {
       title: "היסטוריית צ'אט",
-      "desc-start": "מספר הצ'אטים הקודמים שייכללו בזיכרון לטווח קצר של התגובה.",
-      recommend: "מומלץ 20. ",
+      "desc-start": "מספר הצ'אטים הקודמים שייכללו בזכרון קצר הטווח של התגובה.",
+      recommend: "מומלץ: 20. ",
       "desc-end":
-        "יותר מ-45 צפוי להוביל לכשלים רציפים בצ'אט, תלוי בגודל ההודעה.",
+        "כל דבר מעל 45 עשוי להוביל לכשלים רציפים בצ'אט תלוי בגודל ההודעה.",
     },
     prompt: {
-      title: "הנחיית מערכת",
+      title: "בקשה",
       description:
-        "ההנחיה שתשמש בסביבת עבודה זו. הגדר את ההקשר וההוראות לבינה המלאכותית כדי ליצור תגובה. עליך לספק הנחיה מנוסחת בקפידה כדי שה-AI יוכל ליצור תגובה רלוונטית ומדויקת.",
+        "הבקשה שתיעשה שימוש בה בסביבת העבודה הזו. הגדר את ההקשר וההוראות עבור ה-AI כדי ליצור תגובה. עליך לספק בקשה מעוצבת בקפידה כדי שה-AI יוכל ליצור תגובה רלוונטית ומדויקת.",
       history: {
-        title: "היסטוריית הנחיות מערכת",
-        clearAll: "נקה הכל",
-        noHistory: "אין היסטוריית הנחיות מערכת זמינה",
-        restore: "שחזר",
-        delete: "מחק",
-        publish: "פרסם במרכז הקהילה",
-        deleteConfirm: "האם אתה בטוח שברצונך למחוק פריט היסטוריה זה?",
-        clearAllConfirm:
-          "האם אתה בטוח שברצונך לנקות את כל ההיסטוריה? לא ניתן לבטל פעולה זו.",
-        expand: "הרחב",
+        title: null,
+        clearAll: null,
+        noHistory: null,
+        restore: null,
+        delete: null,
+        deleteConfirm: null,
+        clearAllConfirm: null,
+        expand: null,
+        publish: null,
       },
     },
     refusal: {
       title: "תגובת סירוב במצב שאילתה",
-      "desc-start": "כאשר במצב",
+      "desc-start": "כשאתה במצב",
       query: "שאילתה",
       "desc-end":
-        ", ייתכן שתרצה להחזיר תגובת סירוב מותאמת אישית כאשר לא נמצא הקשר.",
-      "tooltip-title": "למה אני רואה את זה?",
-      "tooltip-description":
-        "אתה נמצא במצב שאילתה, אשר משתמש רק במידע מהמסמכים שלך. עבור למצב צ'אט לשיחות גמישות יותר, או לחץ כאן כדי לבקר בתיעוד שלנו וללמוד עוד על מצבי צ'אט.",
+        "אתה עשוי לרצות להחזיר תגובת סירוב מותאמת אישית כאשר לא נמצא הקשר.",
+      "tooltip-title": null,
+      "tooltip-description": null,
     },
     temperature: {
-      title: "טמפרטורת LLM",
-      "desc-start": 'הגדרה זו שולטת במידת ה"יצירתיות" של תגובות מודל השפה שלך.',
+      title: "טמפרטורה של LLM",
+      "desc-start":
+        'הגדרה זו שולטת באיזה מידה תגובות ה-LLM שלך יהיו "יצירתיות".',
       "desc-end":
-        "ככל שהמספר גבוה יותר, כך התגובה יצירתית יותר. עבור מודלים מסוימים, הדבר עלול להוביל לתגובות לא קוהרנטיות כאשר הערך גבוה מדי.",
-      hint: "לרוב מודלי ה-LLM יש טווחי ערכים קבילים שונים. עיין במידע של ספק ה-LLM שלך.",
+        "ככל שהמספר גבוה יותר כך ה-LLM יצירתי יותר. עבור חלק מהדגמים זה יכול להוביל לתגובות לא קוהרנטיות כאשר הוא מוגדר גבוה מדי.",
+      hint: "לרוב ה-LLM יש טווחים שונים של ערכים תקפים. התייעץ עם ספק ה-LLM שלך לקבלת מידע.",
     },
   },
   "vector-workspace": {
-    identifier: "מזהה מסד נתונים וקטורי",
+    identifier: "מזהה בסיס נתונים וקטור",
     snippets: {
-      title: "מקטעי הקשר מרביים",
+      title: "קטעי קשר מרביים",
       description:
-        "הגדרה זו שולטת בכמות המרבית של מקטעי הקשר שיישלחו למודל השפה עבור כל צ'אט או שאילתה.",
+        "הגדרה זו שולטת בכמות המרבית של קטעי קשר שיישלחו ל-LLM עבור כל צ'אט או שאילתה.",
       recommend: "מומלץ: 4",
     },
     doc: {
       title: "סף דמיון מסמכים",
       description:
-        "ציון הדמיון המינימלי הנדרש כדי שמקור ייחשב קשור לצ'אט. ככל שהמספר גבוה יותר, כך המקור חייב להיות דומה יותר לצ'אט.",
+        "ציון הדמיון המינימלי הנדרש כדי שמקור ייחשב כקשור לצ'אט. ככל שהמספר גבוה יותר, כך המקור חייב להיות דומה יותר לצ'אט.",
       zero: "ללא הגבלה",
-      low: "נמוך (ציון דמיון ≥ 0.25)",
-      medium: "בינוני (ציון דמיון ≥ 0.50)",
-      high: "גבוה (ציון דמיון ≥ 0.75)",
+      low: "נמוך (ציון דמיון ≥ .25)",
+      medium: "בינוני (ציון דמיון ≥ .50)",
+      high: "גבוה (ציון דמיון ≥ .75)",
     },
     reset: {
-      reset: "אפס מסד נתונים וקטורי",
+      reset: "אפס בסיס נתונים וקטור",
       resetting: "מנקה וקטורים...",
       confirm:
-        "אתה עומד לאפס את מסד הנתונים הווקטורי של סביבת עבודה זו. פעולה זו תסיר את כל הטמעות הווקטורים הקיימות.\n\nקבצי המקור המקוריים יישארו ללא שינוי. פעולה זו אינה הפיכה.",
-      error: "לא ניתן היה לאפס את מסד הנתונים הווקטורי של סביבת העבודה!",
-      success: "מסד הנתונים הווקטורי של סביבת העבודה אופס!",
+        "אתה עומד לאפס את בסיס הנתונים הווקטורי של סביבת העבודה הזו. זה ימחק את כל הטבעות הווקטוריות שקיימות כעת.\n\nקבצי המקור המקוריים יישארו ללא שינוי. פעולה זו היא בלתי הפיכה.",
+      error: "לא ניתן היה לאפס את בסיס הנתונים הווקטורי של סביבת העבודה!",
+      success: "בסיס הנתונים הווקטורי של סביבת העבודה איפס!",
     },
   },
   agent: {
     "performance-warning":
-      "הביצועים של מודלי שפה שאינם תומכים במפורש בקריאת כלים (tool-calling) תלויים מאוד ביכולות ובדיוק של המודל. ייתכן שיכולות מסוימות יהיו מוגבלות או לא פונקציונליות.",
+      "ביצועי LLM שאינם תומכים באופן מפורש בקריאות כלים תלויים מאוד ביכולות ובדיוק של הדגם. חלק מהיכולות עשויות להיות מוגבלות או לא פונקציונליות.",
     provider: {
-      title: "ספק מודל שפה (LLM) של סוכן סביבת העבודה",
+      title: "ספק LLM של סוכן סביבת עבודה",
       description:
-        "ספק ומודל ה-LLM הספציפיים שישמשו עבור סוכן ה-@agent של סביבת עבודה זו.",
+        "ספק LLM ספציפי ודגם שייעשה בו שימוש עבור סוכן @agent של סביבת העבודה הזו.",
     },
     mode: {
       chat: {
-        title: "מודל צ'אט של סוכן סביבת העבודה",
+        title: "דגם צ'אט של סוכן סביבת עבודה",
         description:
-          "מודל הצ'אט הספציפי שישמש עבור סוכן ה-@agent של סביבת עבודה זו.",
+          "דגם הצ'אט הספציפי שייעשה בו שימוש עבור סוכן @agent של סביבת העבודה הזו.",
       },
-      title: "מודל סוכן של סביבת העבודה",
+      title: "דגם של סוכן סביבת עבודה",
       description:
-        "מודל ה-LLM הספציפי שישמש עבור סוכן ה-@agent של סביבת עבודה זו.",
-      wait: "-- ממתין למודלים --",
+        "דגם LLM ספציפי שייעשה בו שימוש עבור סוכן @agent של סביבת העבודה הזו.",
+      wait: "-- מחכה לדגמים --",
     },
     skill: {
       title: "כישורי סוכן ברירת מחדל",
       description:
-        "שפר את היכולות הטבעיות של סוכן ברירת המחדל עם כישורים מובנים אלה. הגדרה זו חלה על כל סביבות העבודה.",
+        "שפר את היכולות הטבעיות של הסוכן ברירת המחדל עם כישורים מובנים אלה. הגדרה זו חלה על כל סביבות העבודה.",
       rag: {
-        title: "RAG וזיכרון לטווח ארוך",
+        title: "RAG וזכרון ארוך טווח",
         description:
-          'אפשר לסוכן למנף את המסמכים המקומיים שלך כדי לענות על שאילתות או בקש מהסוכן "לזכור" חלקי תוכן לאחזור זיכרון לטווח ארוך.',
+          'אפשר לסוכן לנצל את המסמכים המקומיים שלך כדי לענות על שאילתה או לבקש מהסוכן "לזכור" חלקים מתוכן עבור אחזור זכרון ארוך טווח.',
       },
       view: {
-        title: "צפייה וסיכום מסמכים",
+        title: "הצג ותמצת מסמכים",
         description:
-          "אפשר לסוכן לרשום ולסכם את התוכן של קבצי סביבת העבודה המוטמעים כעת.",
+          "אפשר לסוכן לרשום ולמצת את תוכן קבצי סביבת העבודה שהוטמעו כעת.",
       },
       scrape: {
-        title: "גירוד אתרי אינטרנט",
-        description: "אפשר לסוכן לבקר ולגרד את התוכן של אתרי אינטרנט.",
+        title: "גרד אתרי אינטרנט",
+        description: "אפשר לסוכן לבקר ולגרד את תוכן אתרי האינטרנט.",
       },
       generate: {
-        title: "יצירת תרשימים",
+        title: "צור תרשימים",
         description:
           "אפשר לסוכן ברירת המחדל ליצור סוגים שונים של תרשימים מנתונים שסופקו או ניתנו בצ'אט.",
       },
       save: {
-        title: "יצירה ושמירה של קבצים לדפדפן",
+        title: "צור ושמור קבצים בדפדפן",
         description:
-          "אפשר לסוכן ברירת המחדל ליצור ולכתוב לקבצים שנשמרים וניתנים להורדה בדפדפן שלך.",
+          "אפשר לסוכן ברירת המחדל ליצור ולכתוב לקבצים שניתן לשמור ולהוריד בדפדפן שלך.",
       },
       web: {
-        title: "חיפוש וגלישה באינטרנט בזמן אמת",
+        title: "חיפוש אינטרנט חי וניווט",
         "desc-start":
-          "אפשר לסוכן שלך לחפש באינטרנט כדי לענות על שאלותיך על ידי התחברות לספק חיפוש אינטרנטי (SERP).",
-        "desc-end":
-          "חיפוש אינטרנטי במהלך סשנים של סוכן לא יעבוד עד שהגדרה זו תבוצע.",
+          "אפשר לסוכן שלך לחפש באינטרנט כדי לענות על השאלות שלך על ידי חיבור לספק חיפוש באינטרנט (SERP).",
+        "desc-end": "חיפוש באינטרנט במהלך מפגשי סוכן לא יעבוד עד שתגדיר זאת.",
       },
     },
   },
   recorded: {
-    title: "צ'אטים של סביבת עבודה",
+    title: "שיחות סביבת עבודה",
     description:
-      "אלה כל הצ'אטים וההודעות המוקלטים שנשלחו על ידי משתמשים, מסודרים לפי תאריך יצירתם.",
-    export: "יצא",
+      "אלה כל השיחות וההודעות שנרשמו שנשלחו על ידי משתמשים לפי תאריך יצירתן.",
+    export: "ייצוא",
     table: {
-      id: "מזהה",
+      id: "Id",
       by: "נשלח על ידי",
       workspace: "סביבת עבודה",
-      prompt: "הנחיה",
+      prompt: "בקשה",
       response: "תגובה",
-      at: "נשלח ב",
-    },
-  },
-  customization: {
-    interface: {
-      title: "העדפות ממשק משתמש",
-      description: "הגדר את העדפות ממשק המשתמש שלך עבור AnythingLLM.",
-    },
-    branding: {
-      title: "מיתוג והתאמה אישית (Whitelabeling)",
-      description: "התאם אישית את מופע ה-AnythingLLM שלך עם מיתוג מותאם אישית.",
-    },
-    chat: {
-      title: "צ'אט",
-      description: "הגדר את העדפות הצ'אט שלך עבור AnythingLLM.",
-      auto_submit: {
-        title: "שליחה אוטומטית של קלט קולי",
-        description: "שלח אוטומטית קלט קולי לאחר פרק זמן של שקט",
-      },
-      auto_speak: {
-        title: "הקראה אוטומטית של תגובות",
-        description: "הקרא אוטומטית תגובות מה-AI",
-      },
-      spellcheck: {
-        title: "הפעל בדיקת איות",
-        description: "הפעל או השבת בדיקת איות בשדה הקלט של הצ'אט",
-      },
-    },
-    items: {
-      theme: {
-        title: "ערכת נושא",
-        description: "בחר את ערכת הצבעים המועדפת עליך ליישום.",
-      },
-      "show-scrollbar": {
-        title: "הצג פס גלילה",
-        description: "הפעל או השבת את פס הגלילה בחלון הצ'אט.",
-      },
-      "support-email": {
-        title: "אימייל תמיכה",
-        description:
-          "הגדר את כתובת האימייל לתמיכה שתהיה נגישה למשתמשים כאשר הם זקוקים לעזרה.",
-      },
-      "app-name": {
-        title: "שם",
-        description: "הגדר שם שיוצג בדף ההתחברות לכל המשתמשים.",
-      },
-      "chat-message-alignment": {
-        title: "יישור הודעות צ'אט",
-        description: "בחר את מצב יישור ההודעות בעת שימוש בממשק הצ'אט.",
-      },
-      "display-language": {
-        title: "שפת תצוגה",
-        description:
-          "בחר את השפה המועדפת להצגת ממשק המשתמש של AnythingLLM - כאשר תרגומים זמינים.",
-      },
-      logo: {
-        title: "לוגו מותג",
-        description: "העלה את הלוגו המותאם אישית שלך להצגה בכל העמודים.",
-        add: "הוסף לוגו מותאם אישית",
-        recommended: "גודל מומלץ: 800x200",
-        remove: "הסר",
-        replace: "החלף",
-      },
-      "welcome-messages": {
-        title: "הודעות פתיחה",
-        description:
-          "התאם אישית את הודעות הפתיחה המוצגות למשתמשים שלך. רק משתמשים שאינם מנהלים יראו הודעות אלה.",
-        new: "חדש",
-        system: "מערכת",
-        user: "משתמש",
-        message: "הודעה",
-        assistant: "עוזר הצ'אט של AnythingLLM",
-        "double-click": "לחץ פעמיים לעריכה...",
-        save: "שמור הודעות",
-      },
-      "browser-appearance": {
-        title: "מראה הדפדפן",
-        description:
-          "התאם אישית את מראה לשונית הדפדפן והכותרת כשהאפליקציה פתוחה.",
-        tab: {
-          title: "כותרת",
-          description:
-            "הגדר כותרת לשונית מותאמת אישית כשהאפליקציה פתוחה בדפדפן.",
-        },
-        favicon: {
-          title: "סמל אתר (Favicon)",
-          description: "השתמש בסמל אתר מותאם אישית עבור לשונית הדפדפן.",
-        },
-      },
-      "sidebar-footer": {
-        title: "פריטי כותרת תחתונה בסרגל הצד",
-        description:
-          "התאם אישית את פריטי הכותרת התחתונה המוצגים בתחתית סרגל הצד.",
-        icon: "סמל",
-        link: "קישור",
-      },
+      at: "נשלח ב-",
     },
   },
   api: {
     title: "מפתחות API",
     description:
-      "מפתחות API מאפשרים למחזיק בהם לגשת ולנהל באופן תכנותי את מופע AnythingLLM זה.",
+      "מפתחות API מאפשרים לבעלים לגשת ולתפעל מופע AnythingLLM זה באופן תכנותי.",
     link: "קרא את תיעוד ה-API",
     generate: "צור מפתח API חדש",
     table: {
@@ -544,503 +359,633 @@ const TRANSLATIONS = {
     },
   },
   llm: {
-    title: "העדפות מודל שפה (LLM)",
+    title: "העדפת LLM",
     description:
-      "אלה האישורים וההגדרות עבור ספק הצ'אט וההטמעה המועדף עליך. חשוב שמפתחות אלה יהיו עדכניים ונכונים, אחרת AnythingLLM לא יפעל כראוי.",
+      "אלה אישורי ההרשאה וההגדרות עבור ספק צ'אט והטבעה LLM המועדף עליך. חשוב שאישורי ההרשאה יהיו עדכניים ונכונים אחרת AnythingLLM לא תוכל לפעול כראוי.",
     provider: "ספק LLM",
     providers: {
       azure_openai: {
-        azure_service_endpoint: "נקודת קצה של שירות Azure",
-        api_key: "מפתח API",
-        chat_deployment_name: "שם פריסת צ'אט",
-        chat_model_token_limit: "מגבלת אסימוני מודל צ'אט",
-        model_type: "סוג מודל",
-        default: "ברירת מחדל",
-        reasoning: "היגיון",
+        azure_service_endpoint: null,
+        api_key: null,
+        chat_deployment_name: null,
+        chat_model_token_limit: null,
+        model_type: null,
+        default: null,
+        reasoning: null,
       },
     },
   },
   transcription: {
-    title: "העדפות מודל תמלול",
+    title: "העדפת דגם תמלול",
     description:
-      "אלה האישורים וההגדרות עבור ספק מודל התמלול המועדף עליך. חשוב שמפתחות אלה יהיו עדכניים ונכונים, אחרת קובצי מדיה ושמע לא יתומללו.",
-    provider: "ספק תמלול",
+      "אלה אישורי ההרשאה וההגדרות עבור ספק דגם התמלול המועדף עליך. חשוב שאישורי ההרשאה יהיו עדכניים ונכונים אחרת קבצי מדיה ואודיו לא יעברו תמלול.",
+    provider: "ספק התמלול",
     "warn-start":
-      "שימוש במודל ה-whisper המקומי על מכונות עם זיכרון RAM או מעבד מוגבלים עלול לגרום להאטה של AnythingLLM בעת עיבוד קובצי מדיה.",
+      "שימוש בדגם Whisper מקומי במחשבים עם זיכרון RAM או מעבד מוגבלים יכול לעצור את AnythingLLM בעת עיבוד קבצי מדיה.",
     "warn-recommend":
-      "אנו ממליצים על לפחות 2GB של זיכרון RAM והעלאת קבצים קטנים מ-10Mb.",
-    "warn-end": "המודל המובנה יורד אוטומטית בשימוש הראשון.",
+      "אנו ממליצים על לפחות 2GB של זיכרון RAM והעלאת קבצים <10Mb.",
+    "warn-end": "הדגם המובנה יתורגם אוטומטית בפעם הראשונה שבה תשתמש בו.",
   },
   embedding: {
-    title: "העדפות הטמעה (Embedding)",
+    title: "העדפת הטבעה",
     "desc-start":
-      "בעת שימוש במודל שפה שאינו תומך באופן מובנה במנוע הטמעה - ייתכן שתצטרך לציין בנוסף אישורים להטמעת טקסט.",
+      "בעת שימוש ב-LLM שאינו תומך באופן מקורי במנוע הטבעה - ייתכן שתצטרך לציין אישורי הרשאה נוספים להטבעת טקסט.",
     "desc-end":
-      "הטמעה היא תהליך של הפיכת טקסט לווקטורים. אישורים אלה נדרשים כדי להפוך את הקבצים וההנחיות שלך לפורמט ש-AnythingLLM יכול להשתמש בו לעיבוד.",
+      "הטבעה היא תהליך הפיכת טקסט לווקטורים. אישורי הרשאה אלה נדרשים כדי להפוך את הקבצים והבקשות שלך לפורמט ש-AnythingLLM יכול להשתמש בו לעיבוד.",
     provider: {
-      title: "ספק הטמעה",
+      title: "ספק הטבעה",
     },
   },
   text: {
-    title: "העדפות פיצול טקסט וחלוקה למקטעים (Chunking)",
+    title: "הגדרות חלוקת טקסט וחלוקה",
     "desc-start":
-      "לפעמים, ייתכן שתרצה לשנות את הדרך ברירת המחדל שבה מסמכים חדשים מפוצלים ומחולקים למקטעים לפני הכנסתם למסד הנתונים הווקטורי שלך.",
+      "לפעמים, ייתכן שתרצה לשנות את הדרך ברירת המחדל שבה מסמכים חדשים מחולקים ומופרדים לפני שהם מוכנסים לבסיס הנתונים הווקטורי שלך.",
     "desc-end":
-      "עליך לשנות הגדרה זו רק אם אתה מבין כיצד פועל פיצול טקסט ואת תופעות הלוואי שלו.",
+      "עליך לשנות הגדרה זו רק אם אתה מבין כיצד חלוקת טקסט פועלת והשפעותיה.",
     size: {
-      title: "גודל מקטע טקסט",
-      description: "זוהי הכמות המרבית של תווים שיכולה להיות בווקטור יחיד.",
-      recommend: "אורך מרבי של מודל הטמעה הוא",
+      title: "גודל קטע טקסט",
+      description: "זהו אורך הדמויות המרבי שיכול להיות נוכח בקטור יחיד.",
+      recommend: "אורך מרבי של דגם ההטבעה הוא",
     },
     overlap: {
-      title: "חפיפת מקטעי טקסט",
+      title: "חפיפה של קטע טקסט",
       description:
-        "זוהי החפיפה המרבית של תווים המתרחשת במהלך חלוקה למקטעים בין שני מקטעי טקסט סמוכים.",
+        "זו החפיפה המרבית של הדמויות המתרחשת במהלך החלוקה בין שני קטעי טקסט סמוכים.",
     },
   },
   vector: {
-    title: "מסד נתונים וקטורי",
+    title: "בסיס נתונים וקטור",
     description:
-      "אלה האישורים וההגדרות לאופן פעולת מופע ה-AnythingLLM שלך. חשוב שמפתחות אלה יהיו עדכניים ונכונים.",
+      "אלה אישורי ההרשאה וההגדרות עבור אופן פעולתו של מופע AnythingLLM שלך. חשוב שאישורי ההרשאה יהיו עדכניים ונכונים.",
     provider: {
-      title: "ספק מסד נתונים וקטורי",
-      description: "אין צורך בתצורה עבור LanceDB.",
+      title: "ספק בסיס נתונים וקטור",
+      description: "אין צורך בקונפיגורציה עבור LanceDB.",
     },
   },
   embeddable: {
-    title: "ווידג'טים של צ'אט להטמעה",
+    title: "כלי צ'אט ניתנים להטמעה",
     description:
-      "ווידג'טים של צ'אט להטמעה הם ממשקי צ'אט ציבוריים הקשורים לסביבת עבודה אחת. הם מאפשרים לך לבנות סביבות עבודה שתוכל לפרסם לעולם.",
+      "כלי צ'אט ניתנים להטמעה הם ממשקי צ'אט פומביים הקשורים לסביבת עבודה אחת. אלה מאפשרים לך לבנות סביבות עבודה שתוכל לפרסם לעולם.",
     create: "צור הטמעה",
     table: {
       workspace: "סביבת עבודה",
-      chats: "צ'אטים שנשלחו",
-      active: "דומיינים פעילים",
-      created: "נוצר",
+      chats: "שיחות שנשלחו",
+      active: "תחומים פעילים",
+      created: null,
     },
   },
   "embed-chats": {
-    title: "היסטוריית צ'אט מוטמע",
-    export: "יצא",
-    description: "אלה כל הצ'אטים וההודעות המוקלטים מכל הטמעה שפרסמת.",
+    title: "הטמעת שיחות",
+    export: "ייצוא",
+    description: "אלה כל השיחות וההודעות שנרשמו מכל הטמעה שפרסמת.",
     table: {
       embed: "הטמעה",
       sender: "שולח",
       message: "הודעה",
       response: "תגובה",
-      at: "נשלח ב",
+      at: "נשלח ב-",
     },
   },
   multi: {
-    title: "מצב ריבוי משתמשים",
+    title: "מצב משתמשים מרובים",
     description:
-      "הגדר את המופע שלך לתמיכה בצוות שלך על ידי הפעלת מצב ריבוי משתמשים.",
+      "הגדר את המופע שלך כדי לתמוך בצוות שלך על ידי הפעלת מצב משתמשים מרובים.",
     enable: {
-      "is-enable": "מצב ריבוי משתמשים מופעל",
-      enable: "הפעל מצב ריבוי משתמשים",
+      "is-enable": "מצב משתמשים מרובים מופעל",
+      enable: "הפעלת מצב משתמשים מרובים",
       description:
-        "כברירת מחדל, אתה תהיה המנהל היחיד. כמנהל תצטרך ליצור חשבונות לכל המשתמשים או המנהלים החדשים. אל תאבד את סיסמתך, מכיוון שרק משתמש מנהל יכול לאפס סיסמאות.",
+        "כברירת מחדל, אתה תהיה המנהל היחיד. כמנהל תצטרך ליצור חשבונות לכל משתמש או מנהל חדש. אל תאבד את הסיסמה שלך מכיוון שרק משתמש מנהל יכול לאפס סיסמאות.",
       username: "שם משתמש של חשבון מנהל",
       password: "סיסמת חשבון מנהל",
     },
     password: {
-      title: "הגנת סיסמה",
+      title: "הגנה באמצעות סיסמה",
       description:
-        "הגן על מופע ה-AnythingLLM שלך באמצעות סיסמה. אם תשכח אותה, אין שיטת שחזור, אז ודא שאתה שומר סיסמה זו.",
+        "הגן על מופע AnythingLLM שלך באמצעות סיסמה. אם תשכח את הסיסמה הזו אין שום דרך להחזיר אותה אז וודא שאתה שומר את הסיסמה הזו.",
       "password-label": "סיסמת מופע",
     },
   },
   event: {
     title: "יומני אירועים",
-    description: "צפה בכל הפעולות והאירועים המתרחשים במופע זה לצורך ניטור.",
+    description: "הצג את כל הפעולות והאירועים שקורים במופע זה לצורך ניטור.",
     clear: "נקה יומני אירועים",
     table: {
       type: "סוג אירוע",
       user: "משתמש",
-      occurred: "התרחש ב",
+      occurred: "התרחש ב-",
     },
   },
   privacy: {
     title: "פרטיות וטיפול בנתונים",
     description:
-      "זוהי התצורה שלך לאופן שבו ספקים צד שלישי מחוברים ו-AnythingLLM מטפלים בנתונים שלך.",
-    llm: "בחירת מודל שפה (LLM)",
-    embedding: "העדפות הטמעה",
-    vector: "מסד נתונים וקטורי",
+      "זו הקונפיגורציה שלך עבור אופן הטיפול בנתונים שלך על ידי ספקי צד שלישי מחוברים ו-AnythingLLM.",
+    llm: "בחירת LLM",
+    embedding: "העדפת הטבעה",
+    vector: "בסיס נתונים וקטור",
     anonymous: "טלמטריה אנונימית מופעלת",
   },
   connectors: {
-    "search-placeholder": "חפש מחברי נתונים",
-    "no-connectors": "לא נמצאו מחברי נתונים.",
-    obsidian: {
-      name: "Obsidian",
-      description: "ייבא כספת Obsidian בלחיצה אחת.",
-      vault_location: "מיקום כספת",
-      vault_description:
-        "בחר את תיקיית כספת ה-Obsidian שלך כדי לייבא את כל ההערות והחיבורים ביניהן.",
-      selected_files: "נמצאו {{count}} קבצי markdown",
-      importing: "מייבא כספת...",
-      import_vault: "ייבא כספת",
-      processing_time: "זה עשוי לקחת זמן מה, תלוי בגודל הכספת שלך.",
-      vault_warning:
-        "כדי למנוע התנגשויות, ודא שכספת ה-Obsidian שלך אינה פתוחה כעת.",
-    },
+    "search-placeholder": null,
+    "no-connectors": null,
     github: {
-      name: "מאגר GitHub",
-      description: "ייבא מאגר GitHub ציבורי או פרטי שלם בלחיצה אחת.",
-      URL: "כתובת URL של מאגר GitHub",
-      URL_explained: "כתובת ה-URL של מאגר ה-GitHub שברצונך לאסוף.",
-      token: "אסימון גישה של GitHub",
-      optional: "אופציונלי",
-      token_explained: "אסימון גישה למניעת הגבלת קצב.",
-      token_explained_start: "ללא ",
-      token_explained_link1: "אסימון גישה אישי",
-      token_explained_middle:
-        ", ה-API של GitHub עשוי להגביל את מספר הקבצים שניתן לאסוף עקב הגבלות קצב. תוכל ",
-      token_explained_link2: "ליצור אסימון גישה זמני",
-      token_explained_end: " כדי למנוע בעיה זו.",
-      ignores: "התעלמות מקבצים",
-      git_ignore:
-        "רשום בפורמט .gitignore כדי להתעלם מקבצים ספציפיים במהלך האיסוף. הקש אנטר לאחר כל ערך שברצונך לשמור.",
-      task_explained:
-        "לאחר השלמה, כל הקבצים יהיו זמינים להטמעה בסביבות עבודה בבורר המסמכים.",
-      branch: "ענף שממנו ברצונך לאסוף קבצים.",
-      branch_loading: "-- טוען ענפים זמינים --",
-      branch_explained: "ענף שממנו ברצונך לאסוף קבצים.",
-      token_information:
-        "ללא מילוי <b>אסימון הגישה של GitHub</b>, מחבר נתונים זה יוכל לאסוף רק את הקבצים ב<b>רמה העליונה</b> של המאגר עקב הגבלות הקצב של ה-API הציבורי של GitHub.",
-      token_personal: "קבל אסימון גישה אישי בחינם עם חשבון GitHub כאן.",
+      name: null,
+      description: null,
+      URL: null,
+      URL_explained: null,
+      token: null,
+      optional: null,
+      token_explained: null,
+      token_explained_start: null,
+      token_explained_link1: null,
+      token_explained_middle: null,
+      token_explained_link2: null,
+      token_explained_end: null,
+      ignores: null,
+      git_ignore: null,
+      task_explained: null,
+      branch: null,
+      branch_loading: null,
+      branch_explained: null,
+      token_information: null,
+      token_personal: null,
     },
     gitlab: {
-      name: "מאגר GitLab",
-      description: "ייבא מאגר GitLab ציבורי או פרטי שלם בלחיצה אחת.",
-      URL: "כתובת URL של מאגר GitLab",
-      URL_explained: "כתובת ה-URL של מאגר ה-GitLab שברצונך לאסוף.",
-      token: "אסימון גישה של GitLab",
-      optional: "אופציונלי",
-      token_explained: "אסימון גישה למניעת הגבלת קצב.",
-      token_description: "בחר ישויות נוספות לאחזור מה-API של GitLab.",
-      token_explained_start: "ללא ",
-      token_explained_link1: "אסימון גישה אישי",
-      token_explained_middle:
-        ", ה-API של GitLab עשוי להגביל את מספר הקבצים שניתן לאסוף עקב הגבלות קצב. תוכל ",
-      token_explained_link2: "ליצור אסימון גישה זמני",
-      token_explained_end: " כדי למנוע בעיה זו.",
-      fetch_issues: "אחזר בעיות (Issues) כמסמכים",
-      ignores: "התעלמות מקבצים",
-      git_ignore:
-        "רשום בפורמט .gitignore כדי להתעלם מקבצים ספציפיים במהלך האיסוף. הקש אנטר לאחר כל ערך שברצונך לשמור.",
-      task_explained:
-        "לאחר השלמה, כל הקבצים יהיו זמינים להטמעה בסביבות עבודה בבורר המסמכים.",
-      branch: "ענף שממנו ברצונך לאסוף קבצים",
-      branch_loading: "-- טוען ענפים זמינים --",
-      branch_explained: "ענף שממנו ברצונך לאסוף קבצים.",
-      token_information:
-        "ללא מילוי <b>אסימון הגישה של GitLab</b>, מחבר נתונים זה יוכל לאסוף רק את הקבצים ב<b>רמה העליונה</b> של המאגר עקב הגבלות הקצב של ה-API הציבורי של GitLab.",
-      token_personal: "קבל אסימון גישה אישי בחינם עם חשבון GitLab כאן.",
+      name: null,
+      description: null,
+      URL: null,
+      URL_explained: null,
+      token: null,
+      optional: null,
+      token_explained: null,
+      token_description: null,
+      token_explained_start: null,
+      token_explained_link1: null,
+      token_explained_middle: null,
+      token_explained_link2: null,
+      token_explained_end: null,
+      fetch_issues: null,
+      ignores: null,
+      git_ignore: null,
+      task_explained: null,
+      branch: null,
+      branch_loading: null,
+      branch_explained: null,
+      token_information: null,
+      token_personal: null,
     },
     youtube: {
-      name: "תמלול YouTube",
-      description: "ייבא את התמלול של סרטון YouTube שלם מקישור.",
-      URL: "כתובת URL של סרטון YouTube",
-      URL_explained_start:
-        "הזן את כתובת ה-URL של כל סרטון YouTube כדי לאחזר את התמלול שלו. לסרטון חייבות להיות ",
-      URL_explained_link: "כתוביות סגורות",
-      URL_explained_end: " זמינות.",
-      task_explained:
-        "לאחר השלמה, התמלול יהיה זמין להטמעה בסביבות עבודה בבורר המסמכים.",
-      language: "שפת התמלול",
-      language_explained: "בחר את שפת התמלול שברצונך לאסוף.",
-      loading_languages: "-- טוען שפות זמינות --",
+      name: null,
+      description: null,
+      URL: null,
+      URL_explained_start: null,
+      URL_explained_link: null,
+      URL_explained_end: null,
+      task_explained: null,
+      language: null,
+      language_explained: null,
+      loading_languages: null,
     },
     "website-depth": {
-      name: "גרדן קישורים המוני",
-      description: "גרד אתר ואת קישורי המשנה שלו עד לעומק מסוים.",
-      URL: "כתובת אתר אינטרנט",
-      URL_explained: "כתובת ה-URL של האתר שברצונך לגרד.",
-      depth: "עומק זחילה",
-      depth_explained:
-        "זהו מספר קישורי הילד שהעובד יעקוב אחריהם מכתובת ה-URL המקורית.",
-      max_pages: "מספר עמודים מרבי",
-      max_pages_explained: "המספר המרבי של קישורים לגירוד.",
-      task_explained:
-        "לאחר השלמה, כל התוכן שנגרד יהיה זמין להטמעה בסביבות עבודה בבורר המסמכים.",
+      name: null,
+      description: null,
+      URL: null,
+      URL_explained: null,
+      depth: null,
+      depth_explained: null,
+      max_pages: null,
+      max_pages_explained: null,
+      task_explained: null,
     },
     confluence: {
-      name: "Confluence",
-      description: "ייבא עמוד Confluence שלם בלחיצה אחת.",
-      deployment_type: "סוג פריסת Confluence",
-      deployment_type_explained:
-        "קבע אם מופע ה-Confluence שלך מתארח בענן של Atlassian או באירוח עצמי.",
-      base_url: "כתובת בסיס של Confluence",
-      base_url_explained: "זוהי כתובת הבסיס של מרחב ה-Confluence שלך.",
-      space_key: "מפתח מרחב של Confluence",
-      space_key_explained:
-        "זהו מפתח המרחבים של מופע ה-Confluence שלך שישמש. בדרך כלל מתחיל ב-~",
-      username: "שם משתמש ב-Confluence",
-      username_explained: "שם המשתמש שלך ב-Confluence",
-      auth_type: "סוג אימות Confluence",
-      auth_type_explained:
-        "בחר את סוג האימות שבו ברצונך להשתמש כדי לגשת לדפי ה-Confluence שלך.",
-      auth_type_username: "שם משתמש ואסימון גישה",
-      auth_type_personal: "אסימון גישה אישי",
-      token: "אסימון גישה של Confluence",
-      token_explained_start:
-        "עליך לספק אסימון גישה לאימות. תוכל ליצור אסימון גישה",
-      token_explained_link: "כאן",
-      token_desc: "אסימון גישה לאימות",
-      pat_token: "אסימון גישה אישי של Confluence",
-      pat_token_explained: "אסימון הגישה האישי שלך ב-Confluence.",
-      task_explained:
-        "לאחר השלמה, תוכן העמוד יהיה זמין להטמעה בסביבות עבודה בבורר המסמכים.",
+      name: null,
+      description: null,
+      deployment_type: null,
+      deployment_type_explained: null,
+      base_url: null,
+      base_url_explained: null,
+      space_key: null,
+      space_key_explained: null,
+      username: null,
+      username_explained: null,
+      auth_type: null,
+      auth_type_explained: null,
+      auth_type_username: null,
+      auth_type_personal: null,
+      token: null,
+      token_explained_start: null,
+      token_explained_link: null,
+      token_desc: null,
+      pat_token: null,
+      pat_token_explained: null,
+      task_explained: null,
     },
     manage: {
-      documents: "מסמכים",
-      "data-connectors": "מחברי נתונים",
-      "desktop-only":
-        "עריכת הגדרות אלה זמינה רק במחשב שולחני. אנא גש לדף זה משולחן העבודה שלך כדי להמשיך.",
-      dismiss: "התעלם",
-      editing: "עורך",
+      documents: null,
+      "data-connectors": null,
+      "desktop-only": null,
+      dismiss: null,
+      editing: null,
     },
     directory: {
-      "my-documents": "המסמכים שלי",
-      "new-folder": "תיקייה חדשה",
-      "search-document": "חפש מסמך",
-      "no-documents": "אין מסמכים",
-      "move-workspace": "העבר לסביבת עבודה",
-      name: "שם",
-      "delete-confirmation":
-        "האם אתה בטוח שברצונך למחוק קבצים ותיקיות אלה?\nפעולה זו תסיר את הקבצים מהמערכת ותסיר אותם אוטומטית מכל סביבת עבודה קיימת.\nפעולה זו אינה הפיכה.",
-      "removing-message":
-        "מסיר {{count}} מסמכים ו-{{folderCount}} תיקיות. אנא המתן.",
-      "move-success": "{{count}} מסמכים הועברו בהצלחה.",
-      date: "תאריך",
-      type: "סוג",
-      no_docs: "אין מסמכים",
-      select_all: "בחר הכל",
-      deselect_all: "בטל בחירת הכל",
-      remove_selected: "הסר נבחרים",
-      costs: "*עלות חד פעמית להטמעות",
-      save_embed: "שמור והטמע",
+      "my-documents": null,
+      "new-folder": null,
+      "search-document": null,
+      "no-documents": null,
+      "move-workspace": null,
+      name: null,
+      "delete-confirmation": null,
+      "removing-message": null,
+      "move-success": null,
+      date: null,
+      type: null,
+      no_docs: null,
+      select_all: null,
+      deselect_all: null,
+      remove_selected: null,
+      costs: null,
+      save_embed: null,
     },
     upload: {
-      "processor-offline": "מעבד המסמכים אינו זמין",
-      "processor-offline-desc":
-        "אין באפשרותנו להעלות את הקבצים שלך כרגע מכיוון שמעבד המסמכים אינו מקוון. אנא נסה שוב מאוחר יותר.",
-      "click-upload": "לחץ להעלאה או גרור ושחרר",
-      "file-types": "תומך בקבצי טקסט, csv, גיליונות אלקטרוניים, קבצי שמע ועוד!",
-      "or-submit-link": "או שלח קישור",
-      "placeholder-link": "https://example.com",
-      fetching: "מאחזר...",
-      "fetch-website": "אחזר אתר אינטרנט",
-      "privacy-notice":
-        "קבצים אלה יועלו למעבד המסמכים הפועל במופע זה של AnythingLLM. קבצים אלה אינם נשלחים או משותפים עם צד שלישי.",
+      "processor-offline": null,
+      "processor-offline-desc": null,
+      "click-upload": null,
+      "file-types": null,
+      "or-submit-link": null,
+      "placeholder-link": null,
+      fetching: null,
+      "fetch-website": null,
+      "privacy-notice": null,
     },
     pinning: {
-      what_pinning: "מהי הצמדת מסמכים?",
-      pin_explained_block1:
-        "כאשר אתה <b>מצמיד</b> מסמך ב-AnythingLLM, אנו נזריק את כל תוכן המסמך לחלון ההנחיה שלך כדי שמודל השפה שלך יבין אותו במלואו.",
-      pin_explained_block2:
-        "זה עובד בצורה הטובה ביותר עם <b>מודלים בעלי הקשר רחב</b> או קבצים קטנים שהם קריטיים לבסיס הידע שלו.",
-      pin_explained_block3:
-        "אם אינך מקבל את התשובות הרצויות מ-AnythingLLM כברירת מחדל, הצמדה היא דרך מצוינת לקבל תשובות איכותיות יותר בלחיצה אחת.",
-      accept: "אוקיי, הבנתי",
+      what_pinning: null,
+      pin_explained_block1: null,
+      pin_explained_block2: null,
+      pin_explained_block3: null,
+      accept: null,
     },
     watching: {
-      what_watching: "מה עושה מעקב אחר מסמך?",
-      watch_explained_block1:
-        "כאשר אתה <b>עוקב</b> אחר מסמך ב-AnythingLLM, אנו נסנכרן <i>אוטומטית</i> את תוכן המסמך שלך ממקורו המקורי במרווחי זמן קבועים. זה יעדכן אוטומטית את התוכן בכל סביבת עבודה שבה קובץ זה מנוהל.",
-      watch_explained_block2:
-        "תכונה זו תומכת כיום בתוכן מבוסס-אינטרנט ולא תהיה זמינה עבור מסמכים שהועלו ידנית.",
-      watch_explained_block3_start:
-        "תוכל לנהל אילו מסמכים נמצאים במעקב מתוך תצוגת ",
-      watch_explained_block3_link: "מנהל הקבצים",
-      watch_explained_block3_end: " של המנהל.",
-      accept: "אוקיי, הבנתי",
+      what_watching: null,
+      watch_explained_block1: null,
+      watch_explained_block2: null,
+      watch_explained_block3_start: null,
+      watch_explained_block3_link: null,
+      watch_explained_block3_end: null,
+      accept: null,
+    },
+    obsidian: {
+      name: null,
+      description: null,
+      vault_location: null,
+      vault_description: null,
+      selected_files: null,
+      importing: null,
+      import_vault: null,
+      processing_time: null,
+      vault_warning: null,
     },
   },
   chat_window: {
-    welcome: "ברוכים הבאים לסביבת העבודה החדשה שלך.",
-    get_started: "כדי להתחיל, או",
-    get_started_default: "כדי להתחיל",
-    upload: "העלה מסמך",
-    or: "או",
-    attachments_processing: "קבצים מצורפים בעיבוד. אנא המתן...",
-    send_chat: "שלח צ'אט.",
-    send_message: "שלח הודעה",
-    attach_file: "צרף קובץ לצ'אט זה",
-    slash: "הצג את כל פקודות הסלאש הזמינות לצ'אט.",
-    agents: "הצג את כל הסוכנים הזמינים שתוכל להשתמש בהם לצ'אט.",
-    text_size: "שנה גודל טקסט.",
-    microphone: "אמור את ההנחיה שלך.",
-    send: "שלח הודעת הנחיה לסביבת העבודה",
-    tts_speak_message: "הקרא הודעה (TTS)",
-    copy: "העתק",
-    regenerate: "צור מחדש",
-    regenerate_response: "צור תגובה מחדש",
-    good_response: "תגובה טובה",
-    more_actions: "פעולות נוספות",
-    hide_citations: "הסתר ציטוטים",
-    show_citations: "הצג ציטוטים",
-    pause_tts_speech_message: "השהה הקראת הודעה (TTS)",
-    fork: "פצל (Fork)",
-    delete: "מחק",
-    save_submit: "שמור ושלח",
-    cancel: "בטל",
-    edit_prompt: "ערוך הנחיה",
-    edit_response: "ערוך תגובה",
-    at_agent: "@סוכן",
-    default_agent_description: " - סוכן ברירת המחדל עבור סביבת עבודה זו.",
-    custom_agents_coming_soon: "סוכנים מותאמים אישית יגיעו בקרוב!",
-    slash_reset: "/איפוס",
-    preset_reset_description: "נקה את היסטוריית הצ'אט שלך והתחל צ'אט חדש",
-    add_new_preset: " הוסף הגדרה קבועה חדשה",
-    command: "פקודה",
-    your_command: "הפקודה-שלך",
-    placeholder_prompt: "זהו התוכן שיוזרק לפני ההנחיה שלך.",
-    description: "תיאור",
-    placeholder_description: "מגיב עם שיר על מודלי שפה.",
-    save: "שמור",
-    small: "קטן",
-    normal: "רגיל",
-    large: "גדול",
+    welcome: null,
+    get_started: null,
+    get_started_default: null,
+    upload: null,
+    or: null,
+    send_chat: null,
+    send_message: null,
+    attach_file: null,
+    slash: null,
+    agents: null,
+    text_size: null,
+    microphone: null,
+    send: null,
+    attachments_processing: null,
+    tts_speak_message: null,
+    copy: null,
+    regenerate: null,
+    regenerate_response: null,
+    good_response: null,
+    more_actions: null,
+    hide_citations: null,
+    show_citations: null,
+    pause_tts_speech_message: null,
+    fork: null,
+    delete: null,
+    save_submit: null,
+    cancel: null,
+    edit_prompt: null,
+    edit_response: null,
+    at_agent: null,
+    default_agent_description: null,
+    custom_agents_coming_soon: null,
+    slash_reset: null,
+    preset_reset_description: null,
+    add_new_preset: null,
+    command: null,
+    your_command: null,
+    placeholder_prompt: null,
+    description: null,
+    placeholder_description: null,
+    save: null,
+    small: null,
+    normal: null,
+    large: null,
     workspace_llm_manager: {
-      search: "חפש ספקי LLM",
-      loading_workspace_settings: "טוען הגדרות סביבת עבודה...",
-      available_models: "מודלים זמינים עבור {{provider}}",
-      available_models_description: "בחר מודל לשימוש בסביבת עבודה זו.",
-      save: "השתמש במודל זה",
-      saving: "מגדיר מודל כברירת מחדל של סביבת העבודה...",
-      missing_credentials: "חסרים אישורים לספק זה!",
-      missing_credentials_description: "לחץ להגדרת אישורים",
+      search: null,
+      loading_workspace_settings: null,
+      available_models: null,
+      available_models_description: null,
+      save: null,
+      saving: null,
+      missing_credentials: null,
+      missing_credentials_description: null,
     },
   },
   profile_settings: {
-    edit_account: "ערוך חשבון",
-    profile_picture: "תמונת פרופיל",
-    remove_profile_picture: "הסר תמונת פרופיל",
-    username: "שם משתמש",
-    username_description:
-      "שם המשתמש חייב להכיל רק אותיות קטנות, מספרים, קווים תחתונים ומקפים, ללא רווחים",
-    new_password: "סיסמה חדשה",
-    password_description: "הסיסמה חייבת להכיל לפחות 8 תווים",
-    cancel: "בטל",
-    update_account: "עדכן חשבון",
-    theme: "העדפת ערכת נושא",
-    language: "שפה מועדפת",
-    failed_upload: "העלאת תמונת הפרופיל נכשלה: {{error}}",
-    upload_success: "תמונת הפרופיל הועלתה.",
-    failed_remove: "הסרת תמונת הפרופיל נכשלה: {{error}}",
-    profile_updated: "הפרופיל עודכן.",
-    failed_update_user: "עדכון המשתמש נכשל: {{error}}",
-    account: "חשבון",
-    support: "תמיכה",
-    signout: "התנתק",
+    edit_account: null,
+    profile_picture: null,
+    remove_profile_picture: null,
+    username: null,
+    username_description: null,
+    new_password: null,
+    password_description: null,
+    cancel: null,
+    update_account: null,
+    theme: null,
+    language: null,
+    failed_upload: null,
+    upload_success: null,
+    failed_remove: null,
+    profile_updated: null,
+    failed_update_user: null,
+    account: null,
+    support: null,
+    signout: null,
+  },
+  customization: {
+    interface: {
+      title: null,
+      description: null,
+    },
+    branding: {
+      title: null,
+      description: null,
+    },
+    chat: {
+      title: null,
+      description: null,
+      auto_submit: {
+        title: null,
+        description: null,
+      },
+      auto_speak: {
+        title: null,
+        description: null,
+      },
+      spellcheck: {
+        title: null,
+        description: null,
+      },
+    },
+    items: {
+      theme: {
+        title: null,
+        description: null,
+      },
+      "show-scrollbar": {
+        title: null,
+        description: null,
+      },
+      "support-email": {
+        title: null,
+        description: null,
+      },
+      "app-name": {
+        title: null,
+        description: null,
+      },
+      "chat-message-alignment": {
+        title: null,
+        description: null,
+      },
+      "display-language": {
+        title: null,
+        description: null,
+      },
+      logo: {
+        title: null,
+        description: null,
+        add: null,
+        recommended: null,
+        remove: null,
+        replace: null,
+      },
+      "welcome-messages": {
+        title: null,
+        description: null,
+        new: null,
+        system: null,
+        user: null,
+        message: null,
+        assistant: null,
+        "double-click": null,
+        save: null,
+      },
+      "browser-appearance": {
+        title: null,
+        description: null,
+        tab: {
+          title: null,
+          description: null,
+        },
+        favicon: {
+          title: null,
+          description: null,
+        },
+      },
+      "sidebar-footer": {
+        title: null,
+        description: null,
+        icon: null,
+        link: null,
+      },
+    },
+  },
+  "main-page": {
+    noWorkspaceError: null,
+    checklist: {
+      title: null,
+      tasksLeft: null,
+      completed: null,
+      dismiss: null,
+      tasks: {
+        create_workspace: {
+          title: null,
+          description: null,
+          action: null,
+        },
+        send_chat: {
+          title: null,
+          description: null,
+          action: null,
+        },
+        embed_document: {
+          title: null,
+          description: null,
+          action: null,
+        },
+        setup_system_prompt: {
+          title: null,
+          description: null,
+          action: null,
+        },
+        define_slash_command: {
+          title: null,
+          description: null,
+          action: null,
+        },
+        visit_community: {
+          title: null,
+          description: null,
+          action: null,
+        },
+      },
+    },
+    quickLinks: {
+      title: null,
+      sendChat: null,
+      embedDocument: null,
+      createWorkspace: null,
+    },
+    exploreMore: {
+      title: null,
+      features: {
+        customAgents: {
+          title: null,
+          description: null,
+          primaryAction: null,
+          secondaryAction: null,
+        },
+        slashCommands: {
+          title: null,
+          description: null,
+          primaryAction: null,
+          secondaryAction: null,
+        },
+        systemPrompts: {
+          title: null,
+          description: null,
+          primaryAction: null,
+          secondaryAction: null,
+        },
+      },
+    },
+    announcements: {
+      title: null,
+    },
+    resources: {
+      title: null,
+      links: {
+        docs: null,
+        star: null,
+      },
+      keyboardShortcuts: null,
+    },
   },
   "keyboard-shortcuts": {
-    title: "קיצורי מקלדת",
+    title: null,
     shortcuts: {
-      settings: "פתח הגדרות",
-      workspaceSettings: "פתח הגדרות סביבת עבודה נוכחית",
-      home: "עבור לדף הבית",
-      workspaces: "נהל סביבות עבודה",
-      apiKeys: "הגדרות מפתחות API",
-      llmPreferences: "העדפות מודל שפה (LLM)",
-      chatSettings: "הגדרות צ'אט",
-      help: "הצג עזרה לקיצורי מקלדת",
-      showLLMSelector: "הצג בורר מודלי שפה לסביבת עבודה",
+      settings: null,
+      workspaceSettings: null,
+      home: null,
+      workspaces: null,
+      apiKeys: null,
+      llmPreferences: null,
+      chatSettings: null,
+      help: null,
+      showLLMSelector: null,
     },
   },
   community_hub: {
     publish: {
       system_prompt: {
-        success_title: "הצלחה!",
-        success_description: "הנחיית המערכת שלך פורסמה במרכז הקהילה!",
-        success_thank_you: "תודה על השיתוף בקהילה!",
-        view_on_hub: "צפה במרכז הקהילה",
-        modal_title: "פרסם הנחיית מערכת",
-        name_label: "שם",
-        name_description: "זהו שם התצוגה של הנחיית המערכת שלך.",
-        name_placeholder: "הנחיית המערכת שלי",
-        description_label: "תיאור",
-        description_description:
-          "זהו התיאור של הנחיית המערכת שלך. השתמש בזה כדי לתאר את מטרת ההנחיה.",
-        tags_label: "תגיות",
-        tags_description:
-          "תגיות משמשות לתיוג הנחיית המערכת שלך לחיפוש קל יותר. ניתן להוסיף מספר תגיות. עד 5 תגיות. עד 20 תווים לתגית.",
-        tags_placeholder: "הקלד והקש אנטר להוספת תגיות",
-        visibility_label: "נראות",
-        public_description: "הנחיות מערכת ציבוריות נראות לכולם.",
-        private_description: "הנחיות מערכת פרטיות נראות רק לך.",
-        publish_button: "פרסם במרכז הקהילה",
-        submitting: "מפרסם...",
-        submit: "פרסם במרכז הקהילה",
-        prompt_label: "הנחיה",
-        prompt_description: "זוהי הנחיית המערכת בפועל שתשמש להנחיית מודל השפה.",
-        prompt_placeholder: "הזן את הנחיית המערכת שלך כאן...",
+        success_title: null,
+        success_description: null,
+        success_thank_you: null,
+        view_on_hub: null,
+        modal_title: null,
+        name_label: null,
+        name_description: null,
+        name_placeholder: null,
+        description_label: null,
+        description_description: null,
+        tags_label: null,
+        tags_description: null,
+        tags_placeholder: null,
+        visibility_label: null,
+        public_description: null,
+        private_description: null,
+        publish_button: null,
+        submitting: null,
+        submit: null,
+        prompt_label: null,
+        prompt_description: null,
+        prompt_placeholder: null,
       },
       agent_flow: {
-        public_description: "זרימות סוכן ציבוריות נראות לכולם.",
-        private_description: "זרימות סוכן פרטיות נראות רק לך.",
-        success_title: "הצלחה!",
-        success_description: "זרימת הסוכן שלך פורסמה במרכז הקהילה!",
-        success_thank_you: "תודה על השיתוף בקהילה!",
-        view_on_hub: "צפה במרכז הקהילה",
-        modal_title: "פרסם זרימת סוכן",
-        name_label: "שם",
-        name_description: "זהו שם התצוגה של זרימת הסוכן שלך.",
-        name_placeholder: "זרימת הסוכן שלי",
-        description_label: "תיאור",
-        description_description:
-          "זהו התיאור של זרימת הסוכן שלך. השתמש בזה כדי לתאר את מטרת הזרימה.",
-        tags_label: "תגיות",
-        tags_description:
-          "תגיות משמשות לתיוג זרימת הסוכן שלך לחיפוש קל יותר. ניתן להוסיף מספר תגיות. עד 5 תגיות. עד 20 תווים לתגית.",
-        tags_placeholder: "הקלד והקש אנטר להוספת תגיות",
-        visibility_label: "נראות",
-        publish_button: "פרסם במרכז הקהילה",
-        submitting: "מפרסם...",
-        submit: "פרסם במרכז הקהילה",
-        privacy_note:
-          "זרימות סוכן תמיד מועלות כפרטיות כדי להגן על נתונים רגישים. תוכל לשנות את הנראות במרכז הקהילה לאחר הפרסום. אנא ודא שהזרימה שלך אינה מכילה מידע רגיש או פרטי לפני הפרסום.",
-      },
-      slash_command: {
-        success_title: "הצלחה!",
-        success_description: "פקודת הסלאש שלך פורסמה במרכז הקהילה!",
-        success_thank_you: "תודה על השיתוף בקהילה!",
-        view_on_hub: "צפה במרכז הקהילה",
-        modal_title: "פרסם פקודת סלאש",
-        name_label: "שם",
-        name_description: "זהו שם התצוגה של פקודת הסלאש שלך.",
-        name_placeholder: "פקודת הסלאש שלי",
-        description_label: "תיאור",
-        description_description:
-          "זהו התיאור של פקודת הסלאש שלך. השתמש בזה כדי לתאר את מטרת הפקודה.",
-        command_label: "פקודה",
-        command_description:
-          "זוהי פקודת הסלאש שמשתמשים יקלידו כדי להפעיל הגדרה קבועה זו.",
-        command_placeholder: "הפקודה-שלי",
-        tags_label: "תגיות",
-        tags_description:
-          "תגיות משמשות לתיוג פקודת הסלאש שלך לחיפוש קל יותר. ניתן להוסיף מספר תגיות. עד 5 תגיות. עד 20 תווים לתגית.",
-        tags_placeholder: "הקלד והקש אנטר להוספת תגיות",
-        visibility_label: "נראות",
-        public_description: "פקודות סלאש ציבוריות נראות לכולם.",
-        private_description: "פקודות סלאש פרטיות נראות רק לך.",
-        publish_button: "פרסם במרכז הקהילה",
-        submitting: "מפרסם...",
-        prompt_label: "הנחיה",
-        prompt_description: "זוהי ההנחיה שתשמש כאשר פקודת הסלאש תופעל.",
-        prompt_placeholder: "הזן את ההנחיה שלך כאן...",
+        public_description: null,
+        private_description: null,
+        success_title: null,
+        success_description: null,
+        success_thank_you: null,
+        view_on_hub: null,
+        modal_title: null,
+        name_label: null,
+        name_description: null,
+        name_placeholder: null,
+        description_label: null,
+        description_description: null,
+        tags_label: null,
+        tags_description: null,
+        tags_placeholder: null,
+        visibility_label: null,
+        publish_button: null,
+        submitting: null,
+        submit: null,
+        privacy_note: null,
       },
       generic: {
         unauthenticated: {
-          title: "נדרש אימות",
-          description:
-            "עליך להתאמת עם מרכז הקהילה של AnythingLLM לפני פרסום פריטים.",
-          button: "התחבר למרכז הקהילה",
+          title: null,
+          description: null,
+          button: null,
         },
       },
+      slash_command: {
+        success_title: null,
+        success_description: null,
+        success_thank_you: null,
+        view_on_hub: null,
+        modal_title: null,
+        name_label: null,
+        name_description: null,
+        name_placeholder: null,
+        description_label: null,
+        description_description: null,
+        command_label: null,
+        command_description: null,
+        command_placeholder: null,
+        tags_label: null,
+        tags_description: null,
+        tags_placeholder: null,
+        visibility_label: null,
+        public_description: null,
+        private_description: null,
+        publish_button: null,
+        submitting: null,
+        prompt_label: null,
+        prompt_description: null,
+        prompt_placeholder: null,
+      },
     },
   },
 };
diff --git a/server/utils/BackgroundWorkers/index.js b/server/utils/BackgroundWorkers/index.js
index 27df8dd6718..6fa43d0f596 100644
--- a/server/utils/BackgroundWorkers/index.js
+++ b/server/utils/BackgroundWorkers/index.js
@@ -43,7 +43,6 @@ class BackgroundService {
   async boot() {
     const { DocumentSyncQueue } = require("../../models/documentSyncQueue");
     this.documentSyncEnabled = await DocumentSyncQueue.enabled();
-
     const jobsToRun = this.jobs();
 
     this.#log("Starting...");