У нас есть много данных гиперспектральной съемки в виде ВИДЕОКАДРОВ в файлах .h5. В них много закодированных метаданных, и файлы в целом сейчас очень неаккуратные. Кто-нибудь работал с этим раньше? Обработка должна быть супер быстрой, так как объем данных, который мы генерируем каждый день, довольно дикий. В настоящее время мы используем Python для обработки и повторной обработки каждого файла каждый раз, когда мы его используем, и это не очень аккуратно, ха-ха. Нужна помощь в понимании самых быстрых способов загрузки большого количества файлов (по 4-6 ГБ, сотни из них) в RDBMS с правильной генерацией метаданных для каждого эксперимента. Нужно, чтобы система неявно понимала область, которая изображается, и псевдоштрих-коды клеток. Интересно, есть ли у кого-нибудь здесь предложения по самому быстрому способу сделать это. В данный момент мы не можем позволить себе нанять человека на полную ставку, так как мы на ранней стадии, поэтому любой инструмент, который упростит мою жизнь, будет оценен.

Существуют ли сообщества в Discord, посвященные исключительно исследованиям в области биологии/биотехнологий?

Физики: Каковы ваши мысли о докторе Ави Лоэбе? Я не физик и очень заинтересован в ваших мыслях о его теориях