Mamy dużo danych z obrazowania hiperspektralnego jako KLATKI WIDEO w plikach .h5. Jest tam dużo zakodowanych metadanych, a pliki są obecnie bardzo chaotyczne. Czy ktoś wcześniej z tym pracował? Musimy to przetwarzać super szybko, ponieważ ilość danych, które generujemy każdego dnia, jest dość szalona. Obecnie używamy Pythona do przetwarzania i ponownego przetwarzania każdego pliku za każdym razem, gdy go używamy, i nie jest to zbyt schludne, lol. Potrzebuję pomocy w zrozumieniu najszybszych sposobów na wprowadzenie dużej ilości plików (4-6 GB, setki z nich) do RDBMS z odpowiednią generacją metadanych dla każdego eksperymentu. Musi to implicitnie rozumieć obszar, który jest obrazowany, oraz pseudo kody kreskowe komórek. Zastanawiam się, czy ktoś tutaj ma jakieś sugestie dotyczące najszybszego sposobu na zrobienie tego. Nie stać nas na zatrudnienie pełnoetatowej osoby do tego w tej chwili, ponieważ jesteśmy na wczesnym etapie, więc każde narzędzie, które ułatwi mi życie, będzie mile widziane.

@MaziyarPanahi Łatwo to zrobić ręcznie. Trudno to zrobić poprawnie we wszystkich obrazach