0.3 - context size

parse.py

@@ -20,6 +20,8 @@ RES_DIR = pathlib.Path(__file__).parent / "res"
 DONE_DIR = pathlib.Path(__file__).parent / "done"
 OLLAMA_HOST = os.environ.get("OLLAMA_HOST", "http://localhost:11434")
 MODEL = os.environ.get("MODEL", "gemma3n:e4b")
+# размер контекста (токенов для этой модели это максимум, больше контекст больше расход ОЗУ)
+NUM_CTX = int(os.environ.get("NUM_CTX", "32768"))  
 RETRY_COUNT = 3
 RETRY_DELAY = 5
 LOG_STREAM = os.environ.get("LOG_STREAM", "").lower() in ("1", "true", "yes")
@@ -49,6 +51,7 @@ def process_file(client: Client, filepath: pathlib.Path) -> bool:
                     {"role": "system", "content": SYSTEM_PROMPT},
                     {"role": "user", "content": f"Convert to JSON. Output only the JSON array:\n\n{content}"},
                 ],
+                options={"num_ctx": NUM_CTX},
                 stream=True,
             )
             for chunk in stream: