Wiki

Deze pagina is alleen-lezen. Je kan de broncode bekijken maar niet veranderen. Neem contact op met de beheerder als je denkt dat dit niet klopt.
====== Fine-tuning ======

<= [[start|Terug naar start]]\\
<- -- [[projecten|Terug naar A3Dbot Start]]\\

[[https://platform.openai.com/docs/guides/fine-tuning|Fine-tuning documentatie OpenAI]]\\
[[https://platform.openai.com/finetune|Fine-tuning online werk-omgeving OpenAI: Create a fine-tuned model]]

===== .jsonl formaat =====

Voor fine-tuning van de laatste modellen: gebruik het **.jsonl** formaat:\\
-> Het verschil tussen een JSON-bestand //(.json)// en een JSON Lines-bestand //(.jsonl)// ligt in hun structuur en formaat:

**JSON (.json):** Een standaard JSON-bestand bevat een enkel geldig JSON-object of -array. Dit object of deze array kan genest zijn en meerdere niveaus van data bevatten. Het hele bestand wordt als één geheel verwerkt. Dit betekent dat als u een groot JSON-bestand hebt, het in zijn geheel in het geheugen moet worden geladen om te worden gelezen of geschreven.

**JSON Lines (.jsonl):** Een JSON Lines-bestand bevat meerdere JSON-objecten, gescheiden door nieuwe regels. Elk object staat op een nieuwe regel en is een geldig JSON-object. Dit formaat is handig voor het verwerken van grote datasets omdat het mogelijk maakt om het bestand regel per regel te lezen of te schrijven, wat efficiënter is qua geheugengebruik. Dit is vooral nuttig voor het verwerken van grote datasets in machine learning en data streaming.

-> Dus, terwijl een .json-bestand één groot JSON-object bevat, bevat een .jsonl-bestand meerdere kleinere JSON-objecten, elk op een aparte regel.

----