Дыбр
Просто кусочки повседневности
Последние записи
Об инвалидацию кэша
Как известно, в программировании есть только две реально сложные задачи: именование переменных и инвалидация кэша1. С первой мы сделать ничего не можем, со второй, конечно, тоже, но что-то делать приходится…
И вот в процессе большого рефакторинга inat-get я в очередной раз задумался. Суть тут вот в чем: данные, которые требуется получать из API iNaturalist — очень большие (зависит от целей, конечно, но они могут быть очень большими), и логично их закэшировать в локальной базе данных. Естественно, кэшированные данные нужно обновлять.
Есть прекрасный параметр updated_since в запросах к API, т.е. мы храним у себя информацию о сделанных запросах, и когда
нам нужно получить новые данные по тем же условиям, указываем дату/время предыдущего запроса в этом параметре. Но полностью
проблему это не решает: updated_since не отменяет (и не должен отменять) все остальные параметры запроса, т.е. те
наблюдения, которые выпали из запроса, в выборку не попадут. И останутся в локальной БД в старом состоянии.
Ну, то есть, выбрали мы, например, данные по проекту, который фильтрует наблюдения с quality_grade=research, а потом
пришел добрый человек и заметил, что в наблюдении культурное растение. Наблюдение выпадает из проекта, но мы об этом
не можем узнать через обновление…
Какие есть пути решения? Вижу несколько вариантов, ни один из которых меня не устраивает полностью…
-
Автор этой фразы, предположительно, Фил Карлтон (Phil Karlton), ведущий инженер компании Netscape. ↩
Натурадыбр – 2025
Что ж, год подходит к концу, я продолжаю снимать птичек на кормушке, но не думаю, что туда заявится кто-то новый и неожиданный. Так что можно подвести итоги наблюдательского года. Конечно, iNaturalist предлагает свою инфографику, но это все же сухая цифра, хоть и приятно оформленная.
Здесь я попробую изложить итоги года более субъективно и оценочно.
Количественно, как можно видеть, в этом году я снимал меньше, чем в прошлом и позапрошлом. Так получилось, в основном, потому, что в июле, августе и начале сентября я учился на водительские права (сдал), и у меня резко перестало совпадать свободное время с подходящей погодой.
Хотелось бы сказать «зато качественно…», но судя по количеству новых видов (и видов вообще), качество наблюдений осталось примерно таким же. Разве что чисто технически оно выросло, о чем ниже.
Ну и еще про количество, чтобы потом не возвращаться: в мае перешагнул отметку в 5000 наблюдений на iNaturalist, а в сентябре — 6000. Сейчас у меня в профиле показывается 6069 наблюдений всего и 1111 видов. Правда, если брать только наблюдения исследовательского уровня, т.е. подтвержденные, получится 4748 и 836 видов соответственно, так что тысячником называться еще не смею. Ну да ладно, новые виды пока прибавляются, так что пара-тройка лет — и за тысячу перевалю.
Телеграм-канал сайта
Завел себе (точнее, этому сайту) канал в телеге — https://t.me/shikhalev_blog.
-
Во-первых, для анонсов новых постов (даже заморочился и автоматизировал анонсирование на GitHub Actions).
-
Во-вторых, для комментариев, а то, похоже, аккаунт на GitHub мало у кого есть… Хотя, может, просто обсуждать нечего.
-
Ну, и в-третьих, там можно донатить «звездами». Впрочем, тут я иллюзий не питаю.
Кнопка для перехода в канал в постах выглядит корявенько, но я сейчас не хочу заморачиваться с частностями дизайна, поскольку планирую большой рефакторинг в относительно скором времени (весной).
В общем, приглашаю подписываться и обсуждать что-нибудь. Сейчас я закинул туда ссылки на посты этого года и несколько более старых, какие счел нужным. Новые посты буду анонсировать обязательно, может быть, докину и какие-то из старых.
Что касается технической стороны вопроса: плагин для Jekyll можно посмотреть на GitHub —
jekyll-is/jekyll-is-announcer, а его использование —
в каталоге .github/workflows
репозитория сайта. Думаю, еще написать об этом подробнее, но перед этим выделить основные действия из workflow в отдельные
action-репозитории — тогда можно будет поговорить на этом примере и об устройстве GitHub Actions в целом.
Объектив Sigma 60-600mm
Приобрел себе в апреле сабж. Сейчас уже довольно много на него поснимал и можно начинать рефлексировать…
Итак, объектив Sigma AF 60-600mm f/4.5-6.3 DG OS HSM Sports с байонетом Canon EF (напомню, что тушка у меня Canon EOS 77D). Думаю, понятно, что главный критерием покупки было фокусное расстояние на длинном конце — 600mm, что в два раза длиннее моего старого любимого объектива Sigma 18-300mm. Те, кто снимал когда-нибудь птиц в дикой природе, думаю, понимают, какое преимущество это дает.
Это не единственный вариант с таким фокусным на дальнем конце, поэтому стоит, наверное, прояснить выбор.
Альтернативы и выбор
Поскольку менять систему в мои планы не входило (и в ближайшее время не входит), выбор ограничен системой Canon EF. Какие варианты тут доступны?
-
Tamron SP 150-600mm F/5-6.3 Di VC USD G2 (первое поколение можно не рассматривать — во-первых его уже сложно найти в продаже, а во-вторых, по всем отзывам и обзорам, оно сильно хуже G2).
-
Sigma AF 150-600mm F5-6.3 DG OS HSM | Contemporary (а вот версию 150-600mm серии Sports опять же не рассматриваем — она тяжелее и дороже, чем 60-600).
-
Canon EF 600mm f/4L IS III USM — тут достаточно взглянуть на цену, чтобы исключить из рассмотрения…
В общем, реально я рассматривал объективы 150-600mm от Tamron и Sigma1, которые дешевле и, что важно, ощутимо легче2, чем 60-600… Оба варианта неплохи, но дело в том, что я снимаю далеко не только птичек, и такая разница на коротком конце (60mm vs 150mm) для меня существенна — можно снять, например, небольшой кустик целиком, отступив на два-три шага, а не на десять. Ну а менять объектив на ходу (и вообще «в поле») — дело крайне неблагодарное. Финальным аргументом стало то, что у 60-600 на фокусном 200mm МДФ позволяет максимальное увеличение 1:3.3 (у Sigma 150-600mm — 1:4.9, у Tamron 150-600mm — 1:3.9, а у вышеупомянутого 18-300, для сравнения — 1:3). В общем, сабж позволяет снимать достаточно крупно цветы и насекомых, тогда как альтернативы в этом отношении сильно хуже.
Так или иначе, свой выбор я сделал, но хочу отметить, что это именно мой выбор, под мои задачи и привычки. Надеюсь, кстати, на днях записать свои размышления на тему собственно моих прогулок со съемками… Перейдем к впечатлениям от реального использования.
-
Если сравнивать именно объективы 150-600mm, то судя как по характеристикам, так и по отзывам, Tamron предпочтительнее, но тут я ничего от себя сказать не могу — не пробовал. Более того, я вообще не держал в руках никаких объективов Tamron и питаю к ним некоторую настороженность, в отличие от Sigma… ↩
-
Легче — не значит легкие: оба чуть-чуть больше 2 кг, тогда как 60-600 — 2.7 кг. ↩
Почему KDE?
В последнее время я как-то в очередной раз заинтересовался, что там творится в мире DE, рабочих окружений и прочая. Ничего принципиально нового не увидел, зато собственное мнение по этому вопросу несколько уточнил и детализировал.
Собственно данный пост и посвящен тому, почему я начал пользоваться и пользуюсь именно KDE и, видимо, продолжу им пользоваться в обозримом будущем. Это, кстати, не значит, что я рекомендую это окружение всем и на всякий случай — задачи бывают разные, предпочтения и привычки бывают разные, а альтернативные варианты не так уж плохи сами по себе.
KDE у меня основная и, по сути, единственная оболочка на личном компьютере примерно с 2006 года — с той самой поры, как я полностью перешел на Linux. Другие оболочки я пробовал, но надолго они у меня не задерживались. Впрочем, в последнее время я довольно часто имею с ними дело по работе — т.е. на рабочих компьютерах, на виртуалках и т.д., так что некоторое представление имею.
Натурадыбр – 2022
Может быть, конечно, кто-нибудь интересный еще успеет до конца декабря залететь на кормушку, но во-первых, вряд ли, а во-вторых, кто ж мне запретит эту запись проапдейтить…
Снимал я в этом году мало, настроение как-то не способствовало, а писал об этом еще меньше — т.е. не писал вообще. Но кое-что отметить все же хотелось бы. Кого-то встретил впервые (терпеть не могу слово «лайфер»), кого-то впервые встретил в Артях… Ну а кто-то просто прикольный.
Так что я пробежался по своему календарю на iNaturalist и надергал немного наблюдений. Вообще, недавно сам iNaturalist выкатил персонализированную статистику, из которой можно выяснить, что всего за год я наблюл 126 новых (для себя) видов… В основном это растения, причем вполне обычные и особого интереса не представляющие.
Но некоторые симпатичные, с них и начнем.
Дыбр сайтостроительный
Оптимизация страниц
В процессе работы с hugin.shikhalev.org обнаружилась интересная особенность Jekyll, о которой желательно знать, чтобы не было мучительно больно…
«Страницы», то есть «pages», не являющиеся постами (и не входящие в никакие другие коллекции) обрабатываются крайне медленно. Переделка
страниц в коллекции ускорила сборку сайта (локально) примерно в 10 раз — с около двухсот секунд до менее двадцати. Сначала я даже попытался
переделать их в посты, но пост должен содержать дату в имени, и нет никакой возможности задать ему URL, соответствующий просто структуре каталогов,
без даты в каком-либо виде. Точнее, каждому посту в отдельности-то можно, вручную во front matter, но это уже издевательство над самим собой
и полный трэш в случае каких-то переделок и рефакторинга. Создание же отдельных коллекций такой проблемы не несет, единственное, что понадобилось
прописать ручные адреса для файлов index.md, чтобы ссылки на них шли как ссылки на каталоги, а не на index.html
Что делать с комментариями?
Точнее, без оных… Heroku больше не дает бесплатно крутить Staticman, так что комментарии здесь уже не работают. Ранее созданные, конечно, никуда не делись — за то и был выбран Staticman, что они хранятся внутри репозитория…
Думаю в ближайшее время подключить giscus, каковой уже испытан на hugin.shikhalev.org, а затем как-то решить вопрос с автоматическим сохранением комментариев внутрь репозитория. Впрочем, буду рассматривать и другие варианты, может быть, за последнее время появилось что-то более интересное и подходящее.
upd: Прикрутил giscus, но вопрос закрытым не считаю.
Очередной тест носителей
Disclaimer: Автор в курсе, что нормальным тестом нижеизложенное не является и не может служить доказательством чего-либо или основанием для далекоидущих выводов. Опыты произведены для собственного удовольствия и удовлетворения любопытства в плохо контролируемых, уникальных и неповторимых условиях (даже не выключая всякие ютубчики).
Немного погонял железяки. В целом тем же способом, что и в посте «Поиздевался над железками» чуть более трех лет назад, с той лишь
разницей, что тестовый файл был размером 4 GiB и прогонял я dd на блоках разного размера: 1 GiB, 32 MiB, 1 MiB, 4 KiB и 1KiB (последний
размер блока только на чтение, должен же быть хоть какой-то предел безумию). Кроме того, проверил скорость чтения посредством hdparm -t /dev/xxx,
что по идее должно было дать максимальную скорость линейного чтения с блочного устройства… Но, см. далее.
Тестовый стенд — мой новый компьютер, конфигурация которого описана в предыдущем посте. Протестированные устройства:
-
SSD Netac NV7000 2TB в двух экземплярах — в слоте PCIe 4.0 и PCIe 3.0 соответственно. Учитывая, что один из них системный, а второй под
/home, понятно, что они были все это время заняты (кроме вызововhdparm, ради которых я вышел из KDE, остановил большинство сервисов и даже размонтировал собственно/home). С другой стороны, никакой серьезной нагрузки в это время все-таки не было, только нормальная фоновая. -
HDD Samsung Archive 8TB — диск старый и в старом тесте так же присутствовал.
-
SD-карты: старая Transcend SDXC 64GB UHS-I U1, которая также была в прошлом тесте, и более новая Kingston Canvas Select™ Plus 256GB UHS-I U3. При этом обе карты я проверил как через внутренний кардридер (см. пост «Новая железяка»), так и внешний noname-ридер для USB 3.0, который опять же был мной проверен три года назад. В таблице разные ридеры помечены как «(внутр.)» и «(внешн.)».
-
Карта micro-SD — Micro-SD Microdrive U1 32GB — китайская, взята для китайской же фотоловушки.
Большой дыбр по железу
В августе-сентябре обновил комп. В порядке дыбра описываю, что и как, а также, что я по разным «железным» поводам подумываю.
Основная причина апгрейда именно в это время — то, что кое-кто в Кремле решил наконец-то убить страну об стену и, соответственно, нарисовалась неслабая вероятность, что возможность покупки более менее приличного железа скоро закроется (и в моем личном случае так и получилось с октября). Однако старому компьютеру вот-вот исполняется восемь лет, там в последнее время были проблемы с материнкой — сдохла встроенная звуковуха, поглюкивали порты USB… В общем, сам по себе апгрейд напрашивался.
Поскольку рассчитывать на последующие докупки в течение долгого времени было нельзя, я постарался уложиться в довольно жесткие лимиты по суммам, в результате чего компьютер получился повышенной алиекспрессности. Я не готов рекомендовать кому-либо поступать так же — риски все-таки велики, особенно для новичков.
Напомню, что конфигурация предыдущей моей рабочей машинки описана в посте «О железе, дыбровое…» от 27 марта 2015 года и в дальнейшем менялась несущественно.
Так писать нельзя
Перечитал предыдущий пост и понял, что так не пойдет — конец скомканный, что/зачем/почему — непонятно. Все-таки у любого произведения, даже у поста в блоге, должна быть какая-то центральная мысль.
К тому же при написании «кусками», не в один присест, теряются какие-то незафиксированные нити из разряда «как писать», и это при том, что «о чем писать» я как раз зафиксировал, т.е. некоторый план все-таки был. В этом отношении и большой пост «Птицы (и не только) в большом городе» писался тяжеловато, но там хотя бы можно было, приложив усилия, вернуться к нити повествования, именно благодаря тому, что была некая общая идея. А тут попытка составить нечто цельное из отдельных эпизодов коммуникативными средствами…
В общем, надо писать смысловыми блоками. Вариант писать «эпизодные» посты в один прием, выделив на это значительный непрерывный отрезок времени, не проходит за неимением таких отрезков.
Показаны 10 записей из 28