AirflowでModuleNotFoundError

DockerのAirflowでDagを開発しているが、ModuleNotFoundErrorが出た。 Pythonのモジュールがないみたいだ。 調べてみるとAirflowのImageをカスタマイズする必要がある。

ブロックチェーン開発基盤について

ブロックチェーンのプラットフォームは用途で選ぼう!開発基盤の特徴を解説 https://trade-log.io/column/695 ブロックチェーン開発基盤について Ethereum(イーサリアム)・・・エンタープライズ向け(toC企業) EOS(イオス)・・・エンタープライズ向け(…

2.3 Jupyter Notebookの使い方

AI

2.3 Jupyter NoteBookの使い方 Jupyter NoteBookはAnacondaに含まれているPythonの統合開発環境。 ブラウザー上で動作するWebアプリ。Anacondaから起動するとブラウザーが開いて 操作画面が表示される。 2.3.1 Jupyter Notebookを仮想環境にインストールする…

2. 座組とチームビルディング

-- 失敗すると取り戻すのが大変。 座組が適切でないとプロジェクトの障害となることがあるため、 プロジェクト計画の段階で座組が適切なものになっているか確認する。 何千万円と大きなお金が動くプロジェクトであるにもかかわらず、社内政治や人材不足でな…

システム・アプリ開発の補助金について

今日学んだこと 補助金の種類 ものづくり補助金 事業再構築補助金 IT導入補助金 小規模事業者持続補助金 補助金に採択される3つのコツ 補助金が採択されない失敗原因を把握しておく 補助金が採択された同業者の例を把握しておく 補助金申請サポートサービス…

ブロックチェーン トレーサビリティについて知ったこと

トレーサビリティとは 品質管理に欠かせない「トレーサビリティ」 その製品がいつどこで、だれによって作られたのかを明らかにする 原材料の調達から生産、消費、廃棄まで追跡可能な状態にすること 近年では製品の品質向上に加え、安全意識の高まりから常用…

2.2 仮想環境の構築とライブラリのインストール

AI

2.2 仮想環境の構築とライブラリのインストール Anacondaには、Pythonの開発環境としてJupyter Notebookが含まれている。 Environmentはデフォルトを使うのではなく、独自のものを構築するのがおすすめ。 理由 新規に作成する仮想環境には必要最小限のライブ…

システム開発で使える補助金

情報システム開発で使える補助金を理解したい。 発注する企業側は情報システムを導入したいが金額が高額になるため、二の足を踏む企業が多い。 ベンダー側は、厳しい予算内で発注された開発プロジェクトは、 十分な開発リソースを確保できず、プロジェクトが…

ブロックチェーン トレーサビリティシステムにおけるデータ構造

トレーサビリティにブロックチェーンを適用しても、データの検索をするためにデータ構造がどうあるべきか分からない。 とりあえず、検索して有用な記事を探してみる xtech.nikkei.com

プロジェクト計画 - ヒアリング

プロジェクト計画の立案はキーパーソンから要望を聞いた段階、つまり初回のヒアリングからすでに始まっている キーパーソンを明らかにする キーパーソンは主に意思決定社やプロジェクトが動く際に中心的な役割を果たす担当者が該当する。ただし肩書だけでは…

トレーサビリティにおけるブロックチェーン

従来のトレーサビリティシステムは、製品ごとに個別に作業履歴を残す作業が必要だった。 トレーサビリティに関わる企業社人は多岐にわたり数も多く、それらを一貫して管理することは困難。取引履歴を紙で管理する場合もあり、取引履歴の改竄が用意であるとい…

プロジェクト計画のまとめかた

プロジェクト計画は次の9つの点に基づいてまとめるとよい ヒアリング - プロジェクトの要件を確認・提案する 座組とチームビルディング - プロジェクトの体制を整える アサイン - 誰になにを依頼するか決める 目的 - プロジェクトの真の目指すところをとらえ…

AnacondaをMacにインストール

AI

第2章 開発環境セットアップとPythonの基礎 2.1.1 Anacondaのダウンロードとインストールを実行 ここからダウンロードした www.anaconda.com 物体・画像認識と時系列データ処理入門 [TensorFlow2/PyTorch対応第2版] NumPy/TensorFlow2(Keras)/PyTorchによる…

Twitter APIの利用を再開してみる

Postmanを使用してAPIコールできるか試してみた。 OAuth 1.0で consumerとAccess Tokenを指定 以下のエラーが出た。 When authenticating requests to the Twitter API v2 endpoints, you must use keys and tokens from a Twitter developer App that is at…

ブロックチェーンの問題 データの肥大化

ブロックチェーンは、ネットワーク上のフルノードで同じデータをもつことでデータの信頼性を向上している反面。 データが肥大化していく。フルノードはかなり大容量のメモリとストレージが必要になる。 考えられる対策 ・データを限りなく小さなものにする …

第2章 開発環境のセットアップとPythonの基礎

2.1 Anacondaの導入 ・Jupyter Notebookは、Pythonの統合開発環境(IDE) ・ブラウザー上で動作する ・ビジュアル面が優れていて、機械学習のような試行錯誤が必要なプログラムの開発にとても便利 2.1.1 Anacondaのダウンロードとインストール ・Jupyterは単体…

第4章 プロジェクト計画 P97

プロジェクトマネジメントの基本が全部分かる本 第4章 プロジェクト計画 P97を読む 学べること * プロジェクトの方向性を決める計画の立て方 * プロジェクトの成否を握る座組のチェック方法 * QCD(品質・コスト・納期)の考え方 * 関係者で効率的な議論や情報…

6月にTwitter APIからデータが取得できなくなった

SpringBootとNext.jsとKubenetesの勉強がてらこんなサイトを作っていたんだけど 6月にTwitter APIからデータが取得できなくなった ラーメンツィ〜ト(仮) ラーメンのお店の名前を含むツイートを定期的に取得して お店毎にランキング形式で表示するサイトだけ…

Kubenetes上のMy SQLが起動しなくなった

Kubenetes上のMy SQLが起動できなくなった。 Podを再生成して、すぐにエラーになってしまう。 最悪なことにエラーログも出ておらず 原因がわからない。 原因調査 手で動かして確認するのがいいんだけど、 起動すらしないのでどうしたものかと悩んでしまった…

プロジェクトマネジメントの基本が全部わかる本

年齢も45歳になり、立場的に多くの人を関わることが当たり前になりました。 関わる人たちはそれぞれでプロジェクトに参加し、がんばっているけど、一筋縄ではいかないなと感じてます。 プロジェクトは、うまくいっていると楽しいし、うまくいってなければ楽…

【時短】Macですべてのアプリケーションを1クリックで終了する

Mac

アプリケーションをたくさん開いていて、 不要なアプリケーションを1つずつ終了させていくのは面倒。 そんなときに便利な技です。 やり方は、Automatorでアプリケーションを作るです。 プログラミングは不要です。 手順 アプリケーションから「Automator.app…

【時短】Macですべてのアプリケーションを最小化するショートカット

Mac

アプリケーションをたくさん開いていて、デスクトップを出したいときに便利 Macですべてのアプリケーションを最小化するショートカット Cmd + Option + M + H

お金を気にせずGoogle Mapのような地図をサイト内に埋め込めるJavaScriptライブラリ Leaflet

LeafletはWeb地図サービスで広く使われるオープンソースのJavaScriptライブラリです。 無料でGoogle Mapのような地図をサイト内に埋め込めます。 Google Maps APIの無料での利用に制限が多くなっているため、 料金を気にせず使いたい人によいと思います。 オ…

SQL Alchemyでコードを少なく書く方法を模索中

m_google_shopテーブルのSelect, Insert処理を実装 SQL Alchemyを使用してコードを少なく書く方法を模索している insert文でクラスのインスタンスをまるまる渡せば、SQLのバインド値にマッピングしてくれる方法(調査中) わからないこと インスタンス→パラメ…

Google MAP APIで19,000円請求された

Google MAP APIの$17ドル/1,000 requestかかる。 無料枠で200$のクレジットがあるから、10,000リクエストできるやろと思ってた。 Text SearchのAPI(MAP API種類の一つ)を使うと 40$/1,000 request、かかるらしく、 9000リクエストかましたら、360$請求された…

Pythonで正しくログ出力をする

pythonでログ出力はprint関数に頼りまくってたので、正しくログ出力をやる。 ログに出すことで、 処理結果がファイルとして保存されるので、調査しやすい。 日時が出力でき、時系列が把握しやすくなる デバック出力とアプリ実行時の出力と分けて記載すること…

NginxのDockerイメージを作成

はじめに kubernetesのAPIサーバを構築している中で APIの前にNginxを挟む構成にすることで恩恵が受けられることわかった。 構成 Nginxコンテナ -> APIコンテナ (1つのPodで記載) 恩恵 アクセスログの取得が簡単になる キャッシュ制御ができる → APIサーバの…

【SpringBoot】スケジュール機能の有効無効を環境変数またはプロパティ値で切り替える

現状 今作っているアプリは SpringBootのスケジュール機能で バッチ処理を実行している。 (別に作ると面倒だったので...) 問題 kubernetesで負荷分散のために複数Podで動かすとそれぞれでスケジュール機能が動いてしまう。 スケジュール機能は1台だけで動か…

Kotlin+SpringBootでDB接続先を環境変数から取得したい+環境ごとでapplication.propertiesを変えたい

kotlin+SprintBootのプロジェクトをkubernetesのPodで動かすため、 環境変数でDBの接続先を変えれるようにしたい DB接続先の定義はapplication.propertiesに記載している。 調べてみるとこのファイルをちょっと手を加えるだけでよいことがわかった。 ${<環境…

Docker on DeskTopでkubernateが起動しない

kubernateの学習のため kubernateのDashboardをデプロイしようとすると以下のエラーが出た。 % kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0/aio/deploy/recommended.yaml Error from server (InternalError): an error…