Hiroyuki Sato
hiroysato.bsky.social
Hiroyuki Sato
@hiroysato.bsky.social
Infiniband初学者。失敗談数知れず。RDMA,OpenUCX, Embulk,Digdag,PostgreSQL, Asterisk, PDF, 組版, Windows(AD等), VMWare, Linux, macOS, Ansible, NVMe,Java, Ruby,医療関連(HL7)等勉強中
自分も私の履歴書: 「Embulkに(勝手に)関わった10年間」みたいなポエムを書こうかな。
(1) まとめを作る、(2) オフィシャルドキュメントを作る (3) (自分的には)ヒットしたプラグイン (4) 流行らなかったプラグイン (5) コアチーム (6) チャンピオンコントリビュータ (7) たたみ方を読んで思うこと
まぁ他にも色々ネタはある。色々あった10年だった。最後の方はfluendとは違う、小さなコミュニティで最小のプラグインを共同でメンテみたいなのができれば良いなと思っていたのだが、なかなか難しかったのかな(チームの中の人だが各社の詳しい事情は私も知らない)
公式版のアナウンスは既に割と拡散してしまったようですがw Embulk の「メンテナンス・モード」についての非公式日本語版 + α (個人的振り返り) です。 α のほうがだいぶ長いのは、まあご想像どおり… zenn.dev/dmikurube/ar...
オープンソース・プロジェクトのたたみ方
zenn.dev
November 26, 2025 at 3:18 AM
Reposted by Hiroyuki Sato
公式版のアナウンスは既に割と拡散してしまったようですがw Embulk の「メンテナンス・モード」についての非公式日本語版 + α (個人的振り返り) です。 α のほうがだいぶ長いのは、まあご想像どおり… zenn.dev/dmikurube/ar...
オープンソース・プロジェクトのたたみ方
zenn.dev
November 25, 2025 at 11:57 PM
@dmikurube.bsky.social 宣言通り?タイミングよく記事をかいてくださりありがとうございます。政治的..w
November 26, 2025 at 12:27 AM
メンテナンスモードになったから 自分のEmbulk環境をJava 17にした。自分が使っている分には普通に動く。
これでJackson3とJUnit6の準備が整ったw

..がdigdagが動かなくなってしまったので、これはさよならすることに、代わりのワークフローエンジン... makeでいいか (大したことやってないし、daily sessionの管理ぐらいはしたいかも)
November 14, 2025 at 6:43 AM
AIがこう言っているよという回答をわたされて、それがあっているかどうかを確認するのをこっちに振られるのはなかなか辛い

そもそもその回答自体よく読むとおかしいというふうに思うんだけど、なんだかなぁ

AIはちょっとずつ嘘を混ぜるから厄介

参考にするにしても、ちゃんと会っているかどうかはある程度確認してほしい。

これからの世の中こんなのばっかだと何を信じて良いのか、、まぁ信頼できる情報ソースを増やしていくしかないのだが、、
November 11, 2025 at 2:35 PM
アイスタイルさんは、DataStreamやAirbyteに変えたらしい。
speakerdeck.com/takumakouno/...
株式会社アイスタイル_Data_Engineering_Summit_全社のデータ活用レベルを上げる__AI-readyな組織を目指す_データ民主化プロジェクト_の裏側.pdf
speakerdeck.com
November 6, 2025 at 11:06 AM
もう開発者の人がコメントしていてw、わざわざコメントで追記するほどのものでもないが、確かに100MB超えたことはない..はず 0.6まで遡ってみるのは面倒だからやらない。(けどJRubyのバージョンは変わっていないので概ね同じ大きさだったはず)
zenn.dev/konan/articl...

違ったことを書かれると、違いますよと言いたくなるのはソフトウェアに思い入れがあるせいなのか..w
November 6, 2025 at 3:28 AM
Scale-Up Ethernet (SUE)

a single XPU can include 8 or 16 SUE instances. って書いてあるのに、 Figure 1 shows an example configuration of 64 XPUs with twelve 800G SUE instances per XPU.
とSUEは12インスタンスになっているのはどういうこっちゃ?

8 or 16 SUE instances. は最小8 ~ 最大16ってことなのか?

docs.broadcom.com/doc/scale-up...
August 21, 2025 at 12:13 PM
OSSメンテの引き継ぎ、自分の印象では新しいメンテナーに引き継いだら、その人が自由に意思決定できる。元のメンテナーより権限は強くなる印象なんだけど、(もちろん色々なプロジェクト次第はあるが)

そうじゃないと思っている人も多いのか。つまり元のメンテナーが小姑みたいにうるさく言って、そんなの引き受けたら何言われるかわかったものじゃないみたいな感じだったりするのかな。
 引き継いだら互換性壊そうが何しようが新メンテナー次第だと思うんだけどな。まぁ理不尽なこと言われるOSSもあるか。
August 20, 2025 at 1:26 PM
embulkのプラグインに投稿されたパッチ、一応みてみて、一見良さそうではあるが、多分、複数スレッドで同じテーブルに書き込みをすることになるので、トランザクションとか大丈夫なのかな?という疑問が残った。モードがinsertなら大丈夫そうだが、プライマリキー制約があったらしたら大丈夫?とか、うーんどうなんでしょう? という点が解決できないなら、まぁ10年そういう要望もなかったしねぇというところ、
August 13, 2025 at 12:59 AM
@dmikurube.bsky.social プルリクきているんですがどうしますかね? どうしますかね、というのはフォーク先で独自の修正されているので、PRの出し先を間違えたのかというのと、長期メンテナンスしてくるのか?というのが気になるから聞こうかな、と思ってその前の質問でした。
github.com/embulk/embul...
Added single_intermediate_table option by t3t5u · Pull Request #353 · embulk/embulk-output-jdbc
Purpose There are two modes: INSERT mode etc.: creates intermediate tables for each task REPLACE mode etc.: creates only one intermediate table In INSERT mode etc., which creates intermediate tab...
github.com
July 29, 2025 at 8:26 AM
変な時間に寝落ちしてしまい寝れないのでUltra Ethernetの仕様書を眺めていたけれども,これは(まだ)新しい通信方式というよりは、libfabric、RoCEv2、SwitchのSAI等を組み合わせて一つのシステムを作る感じ?
パケットはあくまでudpの上で例えにいうならQUICみたいな感じ?

まだと書いたのは、今optionalになっているところが、ハードウェア等で実装が出てきて、輻輳制御とかが、徐々にハードウェアでオフロードされていく感じなのかな?

追いかけている人がいたら話を聞いてみたい。

ultraethernet.org
Ultra Ethernet Consortium
Delivering an Ethernet based open, interoperable, high performance, full-communications stack architecture to meet the growing network demands of AI & HPC at scale.
ultraethernet.org
July 19, 2025 at 6:14 PM
Reposted by Hiroyuki Sato
この延長線上で思っているのが、「オープンソースのライブラリとか使うときにローカルで改変入れて upstream に還元しないのは悪!」という、ここ 10 〜 15 年くらいの「常識」も崩れるんじゃないか、ということですね。ローカルパッチ上等。キャッチアップは AI にやってもらえばいいでしょ? ってなる
オープンソース ≒ "ソーシャルコーディング" (GitHub) の時代こそもう終わるのかなー、と思っていて。だって、どこの何者ともしれない誰かが送りつけてくる AI 生成かもしれない pull request をマージしても大丈夫かどうか逡巡するより、同じことを自分の監督下にある AI に自分のコンテキストを与えてやらせるほうが、まだしも確実だし早いじゃん? 一見さんからの外部貢献を受け入れる利点は消失しようとしているのよ
July 9, 2025 at 10:52 AM
OSSは公共財という文書が出たあたりで、OSSメンテナーばかり飲み会をしたけど印象に残ったのは「他人のレビューは辛い」ということだった。まぁメンテしている人からしたらですよねという感じ。
今後はメンテナーにお金を払ってレビューをしてもらうとか、お金を払って機能を追加してもらうとかになったりするのかもしれない。
オープンソース ≒ "ソーシャルコーディング" (GitHub) の時代こそもう終わるのかなー、と思っていて。だって、どこの何者ともしれない誰かが送りつけてくる AI 生成かもしれない pull request をマージしても大丈夫かどうか逡巡するより、同じことを自分の監督下にある AI に自分のコンテキストを与えてやらせるほうが、まだしも確実だし早いじゃん? 一見さんからの外部貢献を受け入れる利点は消失しようとしているのよ
July 9, 2025 at 10:19 AM
@kuenishi.bsky.social 色々ありがとうございました。今後ともよろしくお願いします。
June 11, 2025 at 2:07 PM
Infiniband スイッチが最低32ポートとかになってしまってもう手が出るものじゃなくなってしまった。QSFP 8ポートとかがあった時は安かったのに..、環境を準備するという意味で、もうRoCEv2でしかIBは勉強できない感じ。
May 29, 2025 at 10:11 AM
同じ分野に参入するとなると、TD & trocco(primNumer)でEmbulkの共同メンテってのは難しいのかな?
primenumber.com/news/1811
クラウドETL「TROCCO」、「TROCCO セグメントビルダー」でCDP領域に本格参入 | primeNumber
株式会社primeNumber(本社:東京都品川区、代表取締役CEO 田邊 雄樹)は、クラウドETL「TROCCO」との連携でCDPを実現する新パッケージ「TROCCOセグメントビルダー」を7月1日に...
primenumber.com
May 22, 2025 at 4:43 AM
@dmikurube.bsky.social 1Passwordの設定しました。使うの初めてで設定したのは良いものの使い方がよくわかっていませんw 何かダミーとか入れてもらえれば
May 15, 2025 at 12:54 AM
あぁembulk-input-tdって、多分内部では0.10対応なんだけど、リポジトリにあるのは古いのか、、
github.com/trocco-io/em...
update embulk to 0.10 by yas-okadatech · Pull Request #1 · trocco-io/embulk-input-td
update embulk to 0.10 https://dev.embulk.org/topics/catchup-with-v0.10.html
github.com
May 14, 2025 at 7:22 AM
@joker1007.bsky.social お手数ですが、お手隙の際にこちらをみていただくことは可能でしょうか? github.com/embulk/embul...
前に相談していたパーティションテーブルを作るPRです。
よろしくお願いします。
feat: Add range partitioning support by kitagry · Pull Request #174 · embulk/embulk-output-bigquery
This pull request introduces support for range partitioning in BigQuery. I checked this feature with example/config_replace_field_range_partitioned_table.yml
github.com
May 10, 2025 at 3:08 AM
初心者の人がOSSにタイポの修正で貢献を始めるのはよくあるけど、流石に1週間ぐらいで、37のリポジトリ全部にtypoのPR出す人はいないだろう(それが2022年から断続的に続いているように見受けられる)。でもこれどこまで自動でやっているんだろうな。。何個か見るとPRのテンプレートっぽいの投稿をしているようにも見えるし、Thanksというメンテナメッセージには👍をしている。
実はAIなのか、、どうせならこの人よくPRのトリアージしてくれるなと感心していたら実はロボットだったとかの方が良いのに、
May 8, 2025 at 4:43 AM
Reposted by Hiroyuki Sato
執筆は兎も角、こうしてPRする活動が大切だよなぁ。
読んでもらえてなんぼのもんですから。
今回は、技術の話じゃなくて社名変更多し。な話。

それにしても、写真が暗いんだよねぇ。スマホで撮ったから?いやちょい古でもスマホカメラの性能は高いからねぇ。何か間違ったか??

note.com/bbtower_inc/...
OFCで感じた業界あれこれ|株式会社ブロードバンドタワー
こんにちは、テクニカルセールスグループの佐伯です。 今回は、OFC2025カンファレンス & エキシビション の報告です。 (1)  OFCとは OFC(OFC Conference)とは、光通信技術の世界最大級の国際カンファレンス&展示会です。毎年1回、IEEE/OSAなどの光通信技術の学会等が中心となって開催されます。日本には同レベルのカンファレンスや展示会がほとんど存...
note.com
May 7, 2025 at 6:51 AM
26,000リポジトリもFork等していて、直近1ヶ月のPRが全部「fix typo」ってなんか怪しく見えるなぁ。
(もしかして誰かのアカウントを乗っ取ってみたいなこともあるのかなぁ。。1年ぐらい前はtypo以外のコミットもあるっぽいのだが..)
May 7, 2025 at 10:23 AM
embulk-spiのJsonValue、中身がJsonLongとかでもasBooleanすれば中の値をみて勝手にキャストしれくれるのかな。
msgpackからの書き換えで、
LongCast.asBoolean(value.asJsonLong().longValue()); みたいなコードを書いたが、実はvalue.asBoolean()とかだけでいいのか?
April 30, 2025 at 5:46 AM